Помощник
Здравствуйте, гость ( Вход | Регистрация )
Новые стандарты для директивы Allow файла robots.txt |
mrdimshop |
2011-10-04, 5:32
Сообщение
#1
|
|
Любитель Группа: Eleanor user Сообщений: 111 Регистрация: 2011-03-17 Репутация: нет Всего: нет |
Сервис Яндекс.Поиск опубликовал информацию о том, что алгоритмы Яндекса теперь будут обрабатывать директиву «Allow» в текстовом файле robots.txt по новому.
Стоит отметить, что данный файл является одним из ключевых элементов для управления индексацией сайта поисковыми системами, в том числе Яндексом. Так для того, что бы Яндекс смог обработать и учитывать директивы корректно, владельцам сайтов необходимо будет использовать «Allow» с учетом порядка: если для определённой страницы подходит сразу несколько директив, то выбирается первая в списке «User-agent» блоке. Владельцы сайта http://mobila69.ru/ уже стали использовать новые советы от Яндекса. Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы «allow» и отказаться от учета порядка, который был важен ранее. Директива будут сортироваться по длине префикса адреса страниц от меньшего к большему. Специалисты отмечают, что подобным образом Яндекс готовится к постепенному выходу на международный рынок, потому как большая часть поисковых систем использует именно такой метод, а значит веб-мастера привыкли оптимизировать индексацию именно так. Кто нибуть понял что нужно делать? Лично до меня не доходит. |
|
|
||
Apatik |
2011-10-04, 6:31
Сообщение
#2
|
|
Новичок Группа: Eleanor user Сообщений: 58 Регистрация: 2011-05-13 Репутация: нет Всего: нет |
Для большинства вебмастеров нововведение будет незаметным. Такой подход к построению роботса применим будет к большим порталам числом страниц за 10к.
[spoiler] [/spoiler]Вот достал с одно буржуйского сайта у которого более 200к страниц. Тут закрыты хвосты, а можно применить в обратном порядке для указания нужного раздела к индексации |
|
|
||
Текстовая версия | 0.0311 сек. 11 запросов GZIP включен Сейчас: 2024-09-23, 18:12 |