Сервис Яндекс.Поиск опубликовал информацию о том, что алгоритмы Яндекса теперь будут обрабатывать директиву «Allow» в текстовом файле robots.txt по новому.
Стоит отметить, что данный файл является одним из ключевых элементов для управления индексацией сайта поисковыми системами, в том числе Яндексом.
Так для того, что бы Яндекс смог обработать и учитывать директивы корректно, владельцам сайтов необходимо будет использовать «Allow» с учетом порядка: если для определённой страницы подходит сразу несколько директив, то выбирается первая в списке «User-agent» блоке. Владельцы сайта http://mobila69.ru/ уже стали использовать новые советы от Яндекса.
Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы «allow» и отказаться от учета порядка, который был важен ранее. Директива будут сортироваться по длине префикса адреса страниц от меньшего к большему.
Специалисты отмечают, что подобным образом Яндекс готовится к постепенному выходу на международный рынок, потому как большая часть поисковых систем использует именно такой метод, а значит веб-мастера привыкли оптимизировать индексацию именно так.
Кто нибуть понял что нужно делать? Лично до меня не доходит.