CMS Eleanor - Поиск
Полная версия этой страницы: Официальный форум Eleanor CMS » Eleanor & SEO
Официальный форум Eleanor CMS » Поддержка пользователей системы Eleanor CMS » Использование системы
Страницы: 1, 2
c0wb0y
Да, этот вопрос уже назрел и его пора выносить на обсуждение.
Начну я с того, что для первого шага к поисковой оптимизации сайта необходимо правильно подправить файлы robots.txt и .htaccess. Я не буду вдаваться во все тонкости этого дела, поэтому затрону лишь наиболее важные моменты (те, которые оказывают существенную роль в продвижении).

Итак, приступим. Первое, на что бросаются глаза - существующий файл robots.txt, который по умолчанию уже лежит в корне двига. Но, то что сейчас в нем написано (sitemap.xml или Sitemap: /sitemap.xml) - противоречит его правильному виду, и именно по этой причине Яша на него будет "ругаться" (см. скриншот).
Правильная структура файла robots.txt должна быть такой (взято с моего сайта):
User-agent: *
Disallow:
Host: creativethemes.org
Sitemap: http://creativethemes.org/sitemap.xml

Исходя из правил написания этого файла в нем обязательно должна быть начальная директива User-agent: *.
Затем должна идти Disallow. Причем, если даже нам нечего запрещать к индексации, то мы ее оставляем пустой.
Далее, не совсем необходимая, но важная директива Host - она указывает, главное зеркало вашего сайта, т.е. www.site.com или site.com.

Переходим к файлу .htaccess. Единственное, что необходимо туда добавить после строки RewriteEngine On, так это постоянный редирект на главное зеркало сайта (www.site.com или site.com):
#Редирект для использования без www
RewriteCond %{HTTP_HOST} ^www.creativethemes\.org$ [NC]
RewriteRule ^(.*)$ http://creativethemes.org/$1 [R=301,L]


Также, на последок советую всем, у кого в меню сайта пункта "Главная" написан URL как http://site.com/index.html или http://site.com/index.php поменять его на '/' (без апострофов).
Зачем? Для того, чтобы полностью исключить дубли страниц. Это вы знаете что главная страница, это начало сайта, а поисковая система видит ее как дубль основной страницы... Все вышеуказанные меры как раз таки и способствуют тому, чтобы весь вес ссылочной массы перетекал на действительно главную страницу вашего сайта, а не "размазывался" на субдомен www и дублирующие файлы index.html или index.php. К тому же всем известно, что дубли страниц поисковая система выкидывает из индекса. Кстати говоря, именно поэтому многие вебмастера в некоторых случаях выборочно закрывают некоторые категории для индексации, т.к. путь к контенту разный, а содержание показывается одно и тоже...


За выше написанное прошу не пинать по следующим причинам:
- я не нашел подобных рекомендаций на форуме через поиск;
- эта информация общедоступна, и может быть найдена на многих авторитетных блогах посвященных SEO;
- это мой совет, для получения максимального эффекта от сайта.
Alexander
Огромная благодарность. Учтем в первой версии. Следите за обновлениями, в ближайшем обновлении ваши замечания будут учтены. Не забудьте проверить.
Виктор
Цитата (c0wb0y @ 2021-07-30 10:44)
Также, на последок советую всем, у кого в меню сайта пункта "Главная" написан URL как http://site.com/index.html или http://site.com/index.php поменять его на '/' (без апострофов).


В Управление меню при редактировании пункта меню "Главная" в поле URL: вместо /index.html поставил просто /, но все равно на главной странице ссылка http://site.com/index.html

Нужно еще удалить наверное это: $Mainclass->Url->ConstructUrl(array(),false); из следующего поля?
c0wb0y
Цитата (Виктор @ 2011-04-13, 19:11)
В Управление меню при редактировании пункта меню "Главная" в поле URL: вместо /index.html поставил просто /, но все равно на главной странице ссылка http://site.com/index.html

Нужно еще удалить наверное это: $Mainclass->Url->ConstructUrl(array(),false); из следующего поля?

Да, все верно. Результат должен получиться таким (смотри скриншот).
Loader
Цитата (c0wb0y @ 2021-07-30 10:44)
За выше написанное прошу не пинать по следующим причинам:
- я не нашел подобных рекомендаций на форуме через поиск;

Тем не мене все эти вопросы уже обсуждались, и лично я давал на них ответы - поэтому и помню.
А что касается Сайтмапа - так он для яндекса вообще невалидным генерируется, поэтому Ваши ухищрения с robots.txt бесполезны.
Но и этот вопрос здесь тоже решался! :)
c0wb0y
Цитата (Loader @ 2011-04-14, 10:57)
Тем не мене все эти вопросы уже обсуждались, и лично я давал на них ответы - поэтому и помню.
А что касается Сайтмапа - так он для яндекса вообще невалидным генерируется, поэтому Ваши ухищрения с robots.txt бесполезны.
Но и этот вопрос здесь тоже решался! :)

Да, с файлом карты сайта тоже нужно поработать.

Loader, а в чем там именно была проблема? Давай подробно ее разберем и дадим Александру "на блюдечке", чтобы он это уже реализовать в следующем обновлении. Что скажешь?
Loader
Цитата (c0wb0y @ 2011-04-14, 9:15)
Да, с файлом карты сайта тоже нужно поработать.

Loader, а в чем там именно была проблема? Давай подробно ее разберем и дадим Александру "на блюдечке", чтобы он это уже реализовать в следующем обновлении. Что скажешь?


Проблема была в том, что Яндекс строго придерживается формата Sitemap.XML , который описан на сайте http://www.sitemaps.org/.
А именно надо учитывать, что в начале файла должно быть <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">,
а не <urlset xmlns="http://www.google.com/schemas/sitemap/0.84"> - что естественно Яндексу не нравится!
А самое главное то, что
Цитата
В файле Sitemap должна использоваться кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование символов, перечисленных ниже в таблице. Символ      Маскирование
Амперсанд      &     &amp;
Одинарные кавычки      '     &apos;
Двойные кавычки      "     &quot;
Больше      >     &gt;
Меньше      <     &lt;
7Azimuth
Цитата
User-agent: *
Disallow:
Host: creativethemes.org
Sitemap: http://creativethemes.org/sitemap.xml

А что писать напротив хоста и сайтмапа если моя главная страница выглядит следующим образом: http://fmv-community.ru/news.html И можно-ли как-то избавиться от страницы http://fmv-community.ru/index.php
Alexander
Альфу обновил. Учел Ваши пожелания. Проверьте, пожалуйста.
c0wb0y
Отлично! Сегодня вечером потестим...))
c0wb0y
Цитата (7Azimuth @ 2011-04-16, 5:41)
А что писать напротив хоста и сайтмапа если моя главная страница выглядит следующим образом: http://fmv-community.ru/news.html И можно-ли как-то избавиться от страницы http://fmv-community.ru/index.php

Только 301 редиректом через правку файла .htaccess.
7Azimuth
Цитата (c0wb0y @ 2021-07-30 10:44)
Только 301 редиректом через правку файла .htaccess.

Это относительно первого или второго вопроса? :)

Сейчас мой robots.txt выглядит след. образом:
User-agent: *
Disallow:
Host: fmv-community.ru
Sitemap: http://fmv-community.ru/sitemap.xml


Все верно?
Loader
Да , всё правильно!

Добавлено через 1 минут, 44 секунд:

Цитата (7Azimuth @ 2021-07-30 10:44)
можно-ли как-то избавиться от страницы http://fmv-community.ru/index.php


Запрети её индексацию в роботсе:

User-agent: *
Disallow: /index.php
Disallow:
Host: fmv-community.ru
Sitemap: http://fmv-community.ru/sitemap.xml


А потом зайди сюда: http://webmaster.yandex.ru/delurl.xml
и сюда: http://www.google.com/support/webma...p;answer=164734
И введи:
http://fmv-community.ru/index.php
7Azimuth
Запретил :)
c0wb0y
Можно не дублировать Disallow, т.к. она уже прописана (хотя бы 1 раз).

User-agent: *
Disallow: /index.php
Disallow: /index.html
Host: fmv-community.ru
Sitemap: http://fmv-community.ru/sitemap.xml
c0wb0y
Также, было бы неплохо в robots.txt закрыть индексацию профилей пользователей, т.к. это только провоцирует регистрировать массу бесполезных аккаунтов с внешней ссылкой в профиле для поднятия позиций сторонних ресурсов. Да, конечно ссылку можно закрыть от индексации или сделать ее открытие через редирект-скрипт, но зачем это делать, если можно вообще исключить нагрузку на БД сайта?.. Тем более что, после регистрации профиля с ссылкой пользователь попробует его добавить в адурелку, а ему в ответ: "Данный URL запрещен к индексации через файл robots.txt". :)
После таких манипуляций ваш сайт удалят из многих баз по услугам "Спам в профилях".

User-agent: *
Disallow: /account
Host: creativethemes.org
Sitemap: http://creativethemes.org/sitemap.xml

Это пример для AS. Т.е. в нем не индексируется как и сам модуль аккаунта (/account.html), так и профили юзверей (account-username.html).
Для Eleanor же (я об альфе) пока не определено (или я что-то упустил), как именно будет называться модуль аккаунта и каким будет URL профиля пользователя.

И напоследок, было бы очень хорошо, если бы страницы печати модулей (новости, и т.п.) также были закрыты от индексации через robots.txt.
eklips
Ещё было бы не плохо подредактировать шаблоны, а именно теги <Hn></Hn>
Apatik
Смотрите, мой роботс выглядит так:
User-agent: Yandex
Disallow: /temp/
Disallow: /templates/
Disallow: /blogs/tags.html
Disallow: /blogs/search.html
Disallow: /account/
Disallow: /news/date_
Disallow: /search.html
Disallow: /news/do_tags.html
Disallow: /news/tag_
Host: mobilfo.com
Вот только заметил что яша все равно гуляет по страницам /news/date_ и /news/tag_
Может я запрет не правильно написал?
c0wb0y
Цитата (Apatik @ 2011-05-27, 13:36)
Смотрите, мой роботс выглядит так:
User-agent: Yandex
Disallow: /temp/
Disallow: /templates/
Disallow: /blogs/tags.html
Disallow: /blogs/search.html
Disallow: /account/
Disallow: /news/date_
Disallow: /search.html
Disallow: /news/do_tags.html
Disallow: /news/tag_
Host: mobilfo.com
Вот только заметил что яша все равно гуляет по страницам /news/date_ и /news/tag_
Может я запрет не правильно написал?

У меня нет точной информации, но мне кажется поисковик все же может гулять по всему сайту, а индексировать то, что запрещено не будет.
Попробуй написать /news/tag*
Apatik
Спасибо. Просто когда прописывал команду, не был уверен, что такая конструкция сработает Disallow: /news/date_. На всякий случай дописал в ваш вариант.
Для просмотра полной версии этой страницы, пожалуйста, пройдите по ссылке.