X   Сообщение сайта
(Сообщение закроется через 2 секунды)

Здравствуйте, гость ( Вход | Регистрация )

2 страниц Открыть меню   1 2 >  
Ответить в данную темуНачать новую тему
> Eleanor & SEO
c0wb0y
сообщение 2011-04-13, 15:07
Сообщение #1
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Да, этот вопрос уже назрел и его пора выносить на обсуждение.
Начну я с того, что для первого шага к поисковой оптимизации сайта необходимо правильно подправить файлы robots.txt и .htaccess. Я не буду вдаваться во все тонкости этого дела, поэтому затрону лишь наиболее важные моменты (те, которые оказывают существенную роль в продвижении).

Итак, приступим. Первое, на что бросаются глаза - существующий файл robots.txt, который по умолчанию уже лежит в корне двига. Но, то что сейчас в нем написано (sitemap.xml или Sitemap: /sitemap.xml) - противоречит его правильному виду, и именно по этой причине Яша на него будет "ругаться" (см. скриншот).
Правильная структура файла robots.txt должна быть такой (взято с моего сайта):
User-agent: *
Disallow:
Host: creativethemes.org
Sitemap: http://creativethemes.org/sitemap.xml

Исходя из правил написания этого файла в нем обязательно должна быть начальная директива User-agent: *.
Затем должна идти Disallow. Причем, если даже нам нечего запрещать к индексации, то мы ее оставляем пустой.
Далее, не совсем необходимая, но важная директива Host - она указывает, главное зеркало вашего сайта, т.е. www.site.com или site.com.

Переходим к файлу .htaccess. Единственное, что необходимо туда добавить после строки RewriteEngine On, так это постоянный редирект на главное зеркало сайта (www.site.com или site.com):
#Редирект для использования без www
RewriteCond %{HTTP_HOST} ^www.creativethemes\.org$ [NC]
RewriteRule ^(.*)$ http://creativethemes.org/$1 [R=301,L]


Также, на последок советую всем, у кого в меню сайта пункта "Главная" написан URL как http://site.com/index.html или http://site.com/index.php поменять его на '/' (без апострофов).
Зачем? Для того, чтобы полностью исключить дубли страниц. Это вы знаете что главная страница, это начало сайта, а поисковая система видит ее как дубль основной страницы... Все вышеуказанные меры как раз таки и способствуют тому, чтобы весь вес ссылочной массы перетекал на действительно главную страницу вашего сайта, а не "размазывался" на субдомен www и дублирующие файлы index.html или index.php. К тому же всем известно, что дубли страниц поисковая система выкидывает из индекса. Кстати говоря, именно поэтому многие вебмастера в некоторых случаях выборочно закрывают некоторые категории для индексации, т.к. путь к контенту разный, а содержание показывается одно и тоже...


За выше написанное прошу не пинать по следующим причинам:
- я не нашел подобных рекомендаций на форуме через поиск;
- эта информация общедоступна, и может быть найдена на многих авторитетных блогах посвященных SEO;
- это мой совет, для получения максимального эффекта от сайта.

Сообщение отредактировал c0wb0y - 2011-04-13, 15:09

Прикрепленные файлы
Прикрепленные файлы  sitemap.gif ( 29.81 килобайт ) Скачиваний: 222
Прикрепленные файлы  sitemap_ok.gif ( 29.07 килобайт ) Скачиваний: 206
 
Перейти в начало страницы
+Цитировать сообщение
Alexander
сообщение 2011-04-13, 15:51
Сообщение #2
Eleanor developer
Иконка группы

Группа: Администраторы
Сообщений: 5 261
Регистрация: 2008-11-11
Из: Николаев
Версия системы: RC5

Репутация:   нет  
Всего: 67


Огромная благодарность. Учтем в первой версии. Следите за обновлениями, в ближайшем обновлении ваши замечания будут учтены. Не забудьте проверить.
Перейти в начало страницы
+Цитировать сообщение
Виктор
сообщение 2011-04-13, 16:11
Сообщение #3
Любитель
Иконка группы

Группа: Eleanor user
Сообщений: 105
Регистрация: 2008-12-13

Репутация:   нет  
Всего: нет


Цитата (c0wb0y @ 2021-09-18 05:16)
Также, на последок советую всем, у кого в меню сайта пункта "Главная" написан URL как http://site.com/index.html или http://site.com/index.php поменять его на '/' (без апострофов).


В Управление меню при редактировании пункта меню "Главная" в поле URL: вместо /index.html поставил просто /, но все равно на главной странице ссылка http://site.com/index.html

Нужно еще удалить наверное это: $Mainclass->Url->ConstructUrl(array(),false); из следующего поля?
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-04-13, 16:22
Сообщение #4
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Цитата (Виктор @ 2011-04-13, 19:11)
В Управление меню при редактировании пункта меню "Главная" в поле URL: вместо /index.html поставил просто /, но все равно на главной странице ссылка http://site.com/index.html

Нужно еще удалить наверное это: $Mainclass->Url->ConstructUrl(array(),false); из следующего поля?

Да, все верно. Результат должен получиться таким (смотри скриншот).

Прикрепленные файлы
Прикрепленные файлы  Untitled_5.gif ( 33.09 килобайт ) Скачиваний: 206
 
Перейти в начало страницы
+Цитировать сообщение
Loader
сообщение 2011-04-14, 7:57
Сообщение #5
Профессионал
Иконка группы

Группа: Eleanor user
Сообщений: 1 161
Регистрация: 2010-04-19

Репутация:   нет  
Всего: нет


Цитата (c0wb0y @ 2021-09-18 05:16)
За выше написанное прошу не пинать по следующим причинам:
- я не нашел подобных рекомендаций на форуме через поиск;

Тем не мене все эти вопросы уже обсуждались, и лично я давал на них ответы - поэтому и помню.
А что касается Сайтмапа - так он для яндекса вообще невалидным генерируется, поэтому Ваши ухищрения с robots.txt бесполезны.
Но и этот вопрос здесь тоже решался! :)

Сообщение отредактировал Loader - 2011-04-14, 8:01
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-04-14, 9:15
Сообщение #6
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Цитата (Loader @ 2011-04-14, 10:57)
Тем не мене все эти вопросы уже обсуждались, и лично я давал на них ответы - поэтому и помню.
А что касается Сайтмапа - так он для яндекса вообще невалидным генерируется, поэтому Ваши ухищрения с robots.txt бесполезны.
Но и этот вопрос здесь тоже решался! :)

Да, с файлом карты сайта тоже нужно поработать.

Loader, а в чем там именно была проблема? Давай подробно ее разберем и дадим Александру "на блюдечке", чтобы он это уже реализовать в следующем обновлении. Что скажешь?
Перейти в начало страницы
+Цитировать сообщение
Loader
сообщение 2011-04-14, 13:01
Сообщение #7
Профессионал
Иконка группы

Группа: Eleanor user
Сообщений: 1 161
Регистрация: 2010-04-19

Репутация:   нет  
Всего: нет


Цитата (c0wb0y @ 2011-04-14, 9:15)
Да, с файлом карты сайта тоже нужно поработать.

Loader, а в чем там именно была проблема? Давай подробно ее разберем и дадим Александру "на блюдечке", чтобы он это уже реализовать в следующем обновлении. Что скажешь?


Проблема была в том, что Яндекс строго придерживается формата Sitemap.XML , который описан на сайте http://www.sitemaps.org/.
А именно надо учитывать, что в начале файла должно быть <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">,
а не <urlset xmlns="http://www.google.com/schemas/sitemap/0.84"> - что естественно Яндексу не нравится!
А самое главное то, что
Цитата
В файле Sitemap должна использоваться кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование символов, перечисленных ниже в таблице. Символ      Маскирование
Амперсанд      &     &amp;
Одинарные кавычки      '     &apos;
Двойные кавычки      "     &quot;
Больше      >     &gt;
Меньше      <     &lt;
Перейти в начало страницы
+Цитировать сообщение
7Azimuth
сообщение 2011-04-16, 2:41
Сообщение #8
Опытный
Иконка группы

Группа: Eleanor user
Сообщений: 525
Регистрация: 2010-10-20
Из: Украина

Репутация:   нет  
Всего: нет


Цитата
User-agent: *
Disallow:
Host: creativethemes.org
Sitemap: http://creativethemes.org/sitemap.xml

А что писать напротив хоста и сайтмапа если моя главная страница выглядит следующим образом: http://fmv-community.ru/news.html И можно-ли как-то избавиться от страницы http://fmv-community.ru/index.php

Сообщение отредактировал 7Azimuth - 2011-04-16, 2:43
Перейти в начало страницы
+Цитировать сообщение
Alexander
сообщение 2011-04-16, 4:34
Сообщение #9
Eleanor developer
Иконка группы

Группа: Администраторы
Сообщений: 5 261
Регистрация: 2008-11-11
Из: Николаев
Версия системы: RC5

Репутация:   нет  
Всего: 67


Альфу обновил. Учел Ваши пожелания. Проверьте, пожалуйста.
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-04-18, 6:32
Сообщение #10
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Отлично! Сегодня вечером потестим...))
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-04-18, 9:25
Сообщение #11
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Цитата (7Azimuth @ 2011-04-16, 5:41)
А что писать напротив хоста и сайтмапа если моя главная страница выглядит следующим образом: http://fmv-community.ru/news.html И можно-ли как-то избавиться от страницы http://fmv-community.ru/index.php

Только 301 редиректом через правку файла .htaccess.
Перейти в начало страницы
+Цитировать сообщение
7Azimuth
сообщение 2011-04-18, 9:38
Сообщение #12
Опытный
Иконка группы

Группа: Eleanor user
Сообщений: 525
Регистрация: 2010-10-20
Из: Украина

Репутация:   нет  
Всего: нет


Цитата (c0wb0y @ 2021-09-18 05:16)
Только 301 редиректом через правку файла .htaccess.

Это относительно первого или второго вопроса? :)

Сейчас мой robots.txt выглядит след. образом:
User-agent: *
Disallow:
Host: fmv-community.ru
Sitemap: http://fmv-community.ru/sitemap.xml


Все верно?

Сообщение отредактировал 7Azimuth - 2011-04-18, 9:39
Перейти в начало страницы
+Цитировать сообщение
Loader
сообщение 2011-04-18, 9:51
Сообщение #13
Профессионал
Иконка группы

Группа: Eleanor user
Сообщений: 1 161
Регистрация: 2010-04-19

Репутация:   нет  
Всего: нет


Да , всё правильно!

Добавлено через 1 минут, 44 секунд:

Цитата (7Azimuth @ 2021-09-18 05:16)
можно-ли как-то избавиться от страницы http://fmv-community.ru/index.php


Запрети её индексацию в роботсе:

User-agent: *
Disallow: /index.php
Disallow:
Host: fmv-community.ru
Sitemap: http://fmv-community.ru/sitemap.xml


А потом зайди сюда: http://webmaster.yandex.ru/delurl.xml
и сюда: http://www.google.com/support/webma...p;answer=164734
И введи:
http://fmv-community.ru/index.php


Сообщение отредактировал Loader - 2011-04-18, 9:57
Перейти в начало страницы
+Цитировать сообщение
7Azimuth
сообщение 2011-04-18, 9:55
Сообщение #14
Опытный
Иконка группы

Группа: Eleanor user
Сообщений: 525
Регистрация: 2010-10-20
Из: Украина

Репутация:   нет  
Всего: нет


Запретил :)
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-04-18, 13:17
Сообщение #15
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Можно не дублировать Disallow, т.к. она уже прописана (хотя бы 1 раз).

User-agent: *
Disallow: /index.php
Disallow: /index.html
Host: fmv-community.ru
Sitemap: http://fmv-community.ru/sitemap.xml
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-05-26, 20:23
Сообщение #16
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Также, было бы неплохо в robots.txt закрыть индексацию профилей пользователей, т.к. это только провоцирует регистрировать массу бесполезных аккаунтов с внешней ссылкой в профиле для поднятия позиций сторонних ресурсов. Да, конечно ссылку можно закрыть от индексации или сделать ее открытие через редирект-скрипт, но зачем это делать, если можно вообще исключить нагрузку на БД сайта?.. Тем более что, после регистрации профиля с ссылкой пользователь попробует его добавить в адурелку, а ему в ответ: "Данный URL запрещен к индексации через файл robots.txt". :)
После таких манипуляций ваш сайт удалят из многих баз по услугам "Спам в профилях".

User-agent: *
Disallow: /account
Host: creativethemes.org
Sitemap: http://creativethemes.org/sitemap.xml

Это пример для AS. Т.е. в нем не индексируется как и сам модуль аккаунта (/account.html), так и профили юзверей (account-username.html).
Для Eleanor же (я об альфе) пока не определено (или я что-то упустил), как именно будет называться модуль аккаунта и каким будет URL профиля пользователя.

И напоследок, было бы очень хорошо, если бы страницы печати модулей (новости, и т.п.) также были закрыты от индексации через robots.txt.

Сообщение отредактировал c0wb0y - 2011-05-27, 13:48
Перейти в начало страницы
+Цитировать сообщение
eklips
сообщение 2011-05-26, 20:28
Сообщение #17
Eleanor TEMP USER
Иконка группы

Группа: Eleanor user
Сообщений: 198
Регистрация: 2010-05-19
Версия системы: RC5

Репутация:   нет  
Всего: нет


Ещё было бы не плохо подредактировать шаблоны, а именно теги <Hn></Hn>
Перейти в начало страницы
+Цитировать сообщение
Apatik
сообщение 2011-05-27, 10:36
Сообщение #18
Новичок
Иконка группы

Группа: Eleanor user
Сообщений: 58
Регистрация: 2011-05-13

Репутация:   нет  
Всего: нет


Смотрите, мой роботс выглядит так:
User-agent: Yandex
Disallow: /temp/
Disallow: /templates/
Disallow: /blogs/tags.html
Disallow: /blogs/search.html
Disallow: /account/
Disallow: /news/date_
Disallow: /search.html
Disallow: /news/do_tags.html
Disallow: /news/tag_
Host: mobilfo.com
Вот только заметил что яша все равно гуляет по страницам /news/date_ и /news/tag_
Может я запрет не правильно написал?

Сообщение отредактировал Apatik - 2011-05-27, 10:38
Перейти в начало страницы
+Цитировать сообщение
c0wb0y
сообщение 2011-05-27, 12:47
Сообщение #19
Любитель
Иконка группы

Группа: Партнеры
Сообщений: 165
Регистрация: 2008-12-13
Из: Казахстан

Репутация:   нет  
Всего: 2


Цитата (Apatik @ 2011-05-27, 13:36)
Смотрите, мой роботс выглядит так:
User-agent: Yandex
Disallow: /temp/
Disallow: /templates/
Disallow: /blogs/tags.html
Disallow: /blogs/search.html
Disallow: /account/
Disallow: /news/date_
Disallow: /search.html
Disallow: /news/do_tags.html
Disallow: /news/tag_
Host: mobilfo.com
Вот только заметил что яша все равно гуляет по страницам /news/date_ и /news/tag_
Может я запрет не правильно написал?

У меня нет точной информации, но мне кажется поисковик все же может гулять по всему сайту, а индексировать то, что запрещено не будет.
Попробуй написать /news/tag*

Сообщение отредактировал c0wb0y - 2011-05-27, 12:47
Перейти в начало страницы
+Цитировать сообщение
Apatik
сообщение 2011-05-27, 13:29
Сообщение #20
Новичок
Иконка группы

Группа: Eleanor user
Сообщений: 58
Регистрация: 2011-05-13

Репутация:   нет  
Всего: нет


Спасибо. Просто когда прописывал команду, не был уверен, что такая конструкция сработает Disallow: /news/date_. На всякий случай дописал в ваш вариант.
Перейти в начало страницы
+Цитировать сообщение

2 страниц Открыть меню   1 2 >
Ответить в данную темуНачать новую тему
0 чел. читают эту тему (гостей: 0, скрытых пользователей: 0)
Пользователей: 0

 
RSS Текстовая версия 0.0558 сек.    12 запросов    GZIP включен    Сейчас: 2021-09-18, 4:16