Apatik, не просто так я засомневался в символе '*', покопался в сети и нашел что он не может быть применим, кроме как в регулярных выражениях... Хотя раньше, не раз читал об обратном.

На твоем примере, решил взять и добавить в адурелку страницу http://mobilfo.com/news/date_2011-05-27.html, и Яндекс выдал что она запрещена к индексации.
К сожалению, я не смог определить работает ли символ '*' или твой первый вариант был правилен, т.к. ты два раза объявил в своем файле robots.txt:
Disallow: /news/date_
Disallow: /news/tag_
Disallow: /news/date*
Disallow: /news/tag*

Чтобы проверить, работает ли '*' или твой первоначальный вариант, сначала попробуй добавить линк в адурелку со звездочками в robots.txt, а потом без них (с подчеркиванием).

Обязательно отпишись о результатах! Т.к. нам нужно найти правильное решение.

Сообщение отредактировал c0wb0y - 2011-05-27, 14:09

Даже не знаю что сказать)) Пробовал оба варианта. Каждый раз дурилка говорит о запрете в роботс. Видимо не принципиально. Но подстраховки ради, оставил оба варианта. Яндекс не указывает на ошибки в роботс.тхт.

Если у Вас в статьях (Новостях) есть категории, то также надо добавить все категории, примерно так
Disallow: */планирование-и-проектная-документация/*

Так как возможно формирование двух ссылок на одну статью, например
1. _http://www.rk-nn.ru/articles/планирование-и-проектная-документация/для-поставок-оконного-профиля-в-якутск-использована-особая-схема-переправы-через-реку-лену.html
и
2. _http://www.rk-nn.ru/articles/для-поставок-оконного-профиля-в-якутск-использована-особая-схема-переправы-через-реку-лену.html

Спасибо, за помощь. Вот только вопрос, как добраться до страницы без категории, если не набирать вручную? И как вообще яша реагирует на команды типа: Disallow:*/мобильные-новинки/* ?
Когда создал такую запись, в панели я-мастера увидел следующее - Disallow:*/МНБНЯРХ-ОПНХГБНДХРЕКЕИ/*....

Сообщение отредактировал Apatik - 2011-05-30, 4:31

1. Добраться до страницы либо через поиск, либо /news.html и далее проглядывать все превью новостей пока не найдем нужную. Честно говоря я не смог найти наоборот как через сайт можно найти где формируется ссылка вместе с категорией ( ..../категория/новость.html), такую ссылку можно только вручную забить. А на эти ссылки обратил внимание через админку, где поисковики просматривают и их в том числе.
2. На формирование таких команд через я-вебмастер я не обратил внимание Disallow:*/МНБНЯРХ-ОПНХГБНДХРЕКЕИ/* поэтому что делать и почему так отображается не знаю.
3. На мой взгляд было бы лучше чтобы изначально не происходило формирование таких ссылок (тогда и запрет в роботс не надо заносить), т.к. есть одна www.xxxx.ru/новость.html и больше не надо, но это уже вопрос к Александру, т.к. ссылка с категорией никакой пользы не несёт а наоборот.

Странно, у меня совсем наоборот. Ссылки отображаются только с категорией, без нее, только вручную, посмотрите... Поиск я закрыл от индексации, потому как лишнее это. Пока слежу за поисковиками, не наблюдал выход на прямые ссылки. Может, кто знает как ситуацию править.. А то если доберутся, то дублей не оберешься.
По поводу роботса... может в него нужно писать аброкадабру? пример: %D0%BE%D0%B5%D0%B9 ....Хотя наверное это извращение.

Есть настройка в модуле новости - Длинный УРЛ с учетом всех категорий    там у Вас стоит галочка, а у меня нет, поэтому у нас такое не соответствие. Вопрос в том что при установке или снятии этой галочки должно происходить помимо формирования ссылки, также и блокировка противоположной. Т.е. если галочка стоит, то ссылки длинные (с названиями категорий), но при этом она должна быть уникальной (формирование второй ссылки - короткой должно быть как-то запрещено, одним словом не происходить) и наоборот.
И опять же - эта галочка - галочка одного раза по большому счёту, её надо с самого начала определится ставить или нет и уже потом не менять, что бы поисковикам не пришлось проводить переиндексацию страниц.

Сообщение отредактировал kdv1978 - 2011-05-30, 9:36

Вот оно как значит, я пока только разбираюсь в системе, но теперь менять длину смысла нет... Уже начал беки зарабатывать, да и яшка начал домен любить. Спасибо, за помощь. Надеюсь прямые ссылки все таки не повылазят в будущем)

Тогда в роботс не надо прописывать Disallow:*/мобильные-новинки/*

Хмм, нашел интересную статью по теме оптимизации. Может разработчик системы, Александр, подумает над внедрением тега rel=canonica? Статья тут .

Я не знаю в каком случае стоит внедрять этот тег. Он внедрен уже давно в альфе как средство для особенности работы системы на двух и более доменах. Ну а в остальных случаях как его внедрить? Я не знаю. Честно. Предлагайте.

В программирование не силен, поэтому слабо представляю как можно сделать. Единственное, что приходит в голову это возможность помечать тегом страницы по такому же принципу как работает [separator]. Это бы избавило от проблем с длинными и короткими ссылками которая обсуждалась выше. То есть выбирая длинную ссылку мы знаем, что она будет помечена этим тегом и соответственно наоборот.

А теперь еще один срочный вопрос от меня. Как поставить прямую ссылку на другой сайт?? То есть без _http://mobilfo.com/go.php?http://www.cstri...?article_id=233 редиректа? А то начал с людьми обмениваться статьями, а тут засада... Ругаются сильно.

Apatik, непонял вашего предложения... Разжуйте, пожалуйста.

К сожалению для отдельной ссылки - никак (можете попытаться предложить решение). Только отключайте эту функцию в настройках (редактора).

Как уже, говорил - плохо понимаю даже основы кодинга (пока только базовые хтмл, ну очень базовые). Поэтому наверное и не могу предложить решение, которое будет понятно. Предлогал я следующее: имеем http://eleanor-cms.ru/news/%ED%EE%E2%EE%F1%F2%E8-eleanor-cms/eleanor-cms-vs-joomla!-(%EF</span>%F0%EE%E8%E7%E2%EE%E4%E8%F2%E5%EB%FC%ED%EE%F1%F2%FC).html когда создаем ее в редакторе, то можем пометить нужным тегом, как происходит с [separator]. А дули не получают этого тега. ПС если глупость говорю, сильно не пинайте))

ПС2 После отправки сообщения на форуме остается висеть надпись (идет отправка сообщения), но страница не обновляется.Браузер -хром

Сообщение отредактировал Apatik - 2011-05-31, 14:37

И куда будет ссылаться это?

Смотрел где яша ходит и нашал еще проблему... Почему категория отображается так - /новости-производителей/ когда должно быть вот так - /новости-производителей/ ? Каквообще яша находит такие урлы? Для примера первый вариант и второй

Вновь дубль, как такое закрыть, ума не приложу

Сообщение отредактировал Apatik - 2011-06-01, 6:10

Я делаю так, когда нужна прямая ссылка иду в настройки редактора и убираю галку с пункта - Включить защиту от прямых ссылок? Далее редактирую статью, ставлю там прямую ссылку, сохраняю. Иду снова в настройки редактора и включаю - Включить защиту от прямых ссылок? После этого редактировать статью с прямой ссылкой нельзя иначе снова появится редирект и придется снова проделывать вышеописанную процедуру. Может тоже какой нибудь bb код ввести, чтобы заключенная в него ссылка оставалась прямой и не редиректилась?

А зачем его вводить? Есть прекрасный ББ-код [dohtml] в который и можно проставить ссылку и не изгаляться.

Дельный совет кстати. Еще бы кто подсказал что с эти делать))