Первая версия robots.txt , для более полной индексации.

[Фисташка]

Disallow: /*action
Disallow: /index.php$

[Istoric]

Disallow: /*actionDisallow: /index.php$

убрал, а что эти строчки значат? Раньше стояли вроде не мешали, вот последние два дня только сообщение о ошибках (

[Фисташка]

убрал, а что эти строчки значат? Раньше стояли вроде не мешали, вот последние два дня только сообщение о ошибках (

Что значат не знаю, но когда у себя убрала сразу сайт влетел в топ.

[digger®]

убрал, а что эти строчки значат?

А зачем убирать, если непонятно что они значат?
Тем более, что у вас ЧПУ, так что от этих строк ни горячо ни холодно.

[Istoric]

так а в чем тогда дело?

[Istoric]

Disallow: /*actionDisallow: /index.php$

так на что они влияют? убирать или не убирать?

И в любом случае что делать то? Робот у меня  нормальный или нет?

[GeorG]

так на что они влияют?

Это чтобы не индексировать страницы action (такие как профиль, календарь, помощь и.т.д.) и чтобы выкинуть с поиска дубль страницы http://форум/index.php, оставив только - http://форум/

[Istoric]

ну это вроде не влияет .. но вот почему и откуда это взялось??

"Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. "  !!!!!

Что делать то? С гугла трафик поисковый очень просел...  кто поможет разобраться?  Помогите пожалуйста ..

[Фисташка]

С гугла трафик не от robots просел. И вообще вам сложно что-то рекомендовать без хрустального шара.

[Istoric]

С гугла трафик не от robots просел. И вообще вам сложно что-то рекомендовать без хрустального шара

Согласен. Какие данные предоставить? )

[Фисташка]

какие адреса закрыты? Пример url.

[Istoric]

какие адреса закрыты? Пример url.

Написал в личку

[Фисташка]

Отрывок url: ...-vzaimodejstvie-...
запрещен правилом /*imode*
Вместо:
Disallow: /*imode

так:
Disallow: /*?imode

[Istoric]

Отрывок url: ...-vzaimodejstvie-...запрещен правилом /*imode*Вместо:Disallow: /*imodeтак:Disallow: /*?imode

Огромное спасибо  )))

С этим понятно.. теперь будем думать почему проседает гугл (

[Istoric]

Вместо:Disallow: /*imodeтак:Disallow: /*?imode

Теперь ошибки выкидывает на целые разделы ((

Отправил примеры в личку

[Фисташка]

Теперь ошибки выкидывает на целые разделы ((

Отправил примеры в личку

Да уберите вообще Disallow: /*imode, или Disallow: /*?imode и настройте ваше чпу.

[Istoric]

и настройте ваше чпу.

настроить где и как?

[kak2z]

настроить где и как?

удалите вообще Ваши чпу

[Istoric]

удалите вообще Ваши чпу

Интересно как к этому ПС отнесутся? больше года чпу стояло потом исчезло...

[kak2z]

Интересно как к этому ПС отнесутся? больше года чпу стояло потом исчезло...

переиндексируют.. за несколько АПов..

[Istoric]

Да уберите вообще Disallow: /*imode, или Disallow: /*?imode и настройте ваше чпу.

Убрал вообще, ошибки так и остались (((   Как настроить чпу так и не понял оно вроде настроено...

[Фисташка]

Как настроить чпу так и не понял оно вроде настроено...

Так, что бы в адресе не было хлама (знаков типа: ![at]#$%^&?<<>>* и т.д.). Если есть метатег canonical, то, в роботс можно закрыть только папки.

Затем следите что у вас в поисковой выдаче и закрывайте не нужное (например страница профиля).

Стремитесь к тому, чтобы в выдаче была 1 страница темы - 1 адрес. 1 страница раздела - 1 адрес. Остальное выкинуть из выдачи (закрыть в robots). Как? - зависит от ваших юрл.

[Istoric]

(знаков типа: ![at]#$%^&?<<>>* и т.д.)

Да нет у меня такого в адресах, а в роботе все равно говорит закрыто (

[Фисташка]

Да нет у меня такого в адресах, а в роботе все равно говорит закрыто (

чем?

[Istoric]

чем?

Чем не говорит, говорит просто закрыто и все.. я же приводил пример того что там написано..

"Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. " 

А что закрывает это правило ? - Disallow: /*imode

[Фисташка]

1. https://www.google.com/webmasters/tools/
2. Ваш сайт
3. Сканирование
4. Заблокированные URL

Вводите свой url, и смотрите чем заблокировано. Там же увидите что закрывает правило - Disallow: /*imode

[Istoric]

Посмотрел ... ничего не понял (( Какие закрывает не показал.. что значит этот тег тоже не нашел.. короче тупой я.. .

[Фисташка]

Тогда вам сюда:
http://www.simplemachines.ru/index.php?topic=13828.0

[Istoric]

Тогда вам сюда:http://www.simplemachines.ru/index.php?topic=13828.0

Ага.. если бы вы посмотрели, вы бы видели что я там вчера писал )

[remingtone]

может кто-то еще столкнется. посыпались 404 в логи. кто-то непрерывно искал смайлы по правильным адресам, но слово Themes в url использовал с маленькой буквы, что давало ошибки 404. оказалось, яндекс-бот. что за сбой у него - не понятно, но добавление в robots запрета для яндекса ходить на "themes" проблему решило

[Yworld_garry]

запрета для яндекса ходить на "themes" проблему решило

У ботов ПС частенько бывают всякие маразматические припадки, по этому лучше сразу позакрываать все не нужное, не им, ни людям.

[hunter56.ru]

Какой robots.txt мне лучше поставить?

Код Выделить Развернуть

User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: http://forum.hunter56.ru

User-agent: Slurp
Crawl-delay: 100

или

Код Выделить Развернуть

User-agent: *
Allow: /$
Allow: /*sitemap
Allow: /*action=.xml
Disallow: /*topic=*msg
Disallow: /*topic=*new
Disallow: /*prev_next
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://forum.hunter56.ru/sitemap.xml
Sitemap: http://forum.hunter56.ru/sitemap_mobile.xml
User-agent: Yandex
Allow: /$
Allow: /*sitemap
Allow: /*action=.xml
Disallow: /*topic=*msg
Disallow: /*topic=*new
Disallow: /*prev_next
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Host: http://forum.hunter56.ru

[remingtone]

ни один ни другой не подх

[Sirius1]

Здравствуйте я насчёт вашего роботса мне нужно узнать как мне правильно его прописать вот ссылки http://wiki-forum.ru/
и ситемап http://wiki-forum.ru/sitemap.xml

Код Выделить Развернуть

# Google, StackRambler, Yandex, Aport - Важные боты для нас.
# К сожалению их останавливает тег noindex.
# Если вы удалили noindex коснтрукцию то это должно пригодиться.
# Для всех ботов
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade # если не стоит мод игр, удалить без пропуска строки
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало
User-agent: Slurp
Crawl-delay: 100

я вот так сделал это правильно

Код Выделить Развернуть


User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: http://wiki-forum.ru/
sitemap: http://wiki-forum.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

[hunter56.ru]

Сам я написать даже по рекомендациям не смогу.
Если добавить 24 строку будет хороший или нет?

Код Выделить Развернуть


User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: http://forum.hunter56.ru/
sitemap: http://forum.hunter56.ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100


[hunter56.ru]

ни один ни другой не подх

Подскажите плиз, где взять подходящий robots.txt или как поправить этот?
Если добавить 24 строку будет хороший или нет?

Код Выделить Развернуть


User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: http://forum.hunter56.ru/
sitemap: http://forum.hunter56.ru/sitemap.xml
User-agent: Slurp
Crawl-delay: 100


Проверял на яндексе пишет:

Строка      
1-24     User-agent: *
             Allow: /forum/*sitemap
              ...
             sitemap: http://forum.hunter56.ru/sitemap.xml

ХЗ, что это значит и с чем это едят

[remingtone]

у вас обоих неправильные роботсы. везде убирайте /forum

[Sirius1]

А вот такое чудо будет работать что скажите

Код Выделить Развернуть

User-agent: *
User-agent:Yandex
Allow:/
User-agent:Google
Allow:/
User-agent:StackRambler
Allow:/
User-agent:Aport
Allow:/
User-agent:MediaPartners-Google
Allow:/
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Host: http://wiki-forum.ru/
sitemap: http://wiki-forum.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

[remingtone]

убери строки со второй по 10 включительно

[Sirius1]

 okk понял спасибо 
лови +

[hunter56.ru]

убери строки со второй по 10 включительно

А если форум на субдомене /forum/ должен быть или нет?

[Mavn]

если у вас форум открывается по адресу sub.domen.ru/forum - должен, sub.domen.ru - не должен

[hunter56.ru]

Спасибо.
С помощью какого-то плагина и какой-то матери сделал вот что:

Код Выделить Развернуть

User-agent: Yandex
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board*.html$
Allow: /*topic*.html$
Sitemap: http://forum.hunter56.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php

User-agent: *
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*PHPSESSID
Allow: /*board*.html$
Allow: /*topic*.html$
Sitemap: http://forum.hunter56.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php

Host: http://forum.hunter56.ru


Теперь вроде всем угодил.  Почему-то без первой части, яндекс не хотел видеть рОбота.

Подскажите, кто понимает в этом, будет ли работать ПРАВИЛЬНО сие творение?

[Mavn]

плин едрен батон...
из первого сообщения возьмите роботс и мозг не парьте!

[Mакс-23]

Ребята, всем доброго времени! не могу разобраться в этой теме, какой robots.txt лучше использовать?!? я в этом новенький, только познаю! Подскажите а... Нужно чтоб сайт индексировался в Яндексе, Гугл, (ну и некоторые другие ПС, которые используются в СНГ), все темы/разделы форума, НО! ссылки имеющиеся в ответах Не индексировал! Благодарю за внимание.

...ага, увидел пост Mavn.

[dimalp777]

Добрый день, столкнулся с такой проблемой, яндекс и гугл не индексируют топики, желательно чтоб индекс был всех новостей и топиков, не могу разобраться с роботом, кто может подсказать где беда?


User-agent: *
Allow: /$
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://www.forumwuna.ru/sitemap.xml
User-agent: Yandex
Allow: /$
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*ID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://www.forumwuna.ru/sitemap.xml
Host: www.forumwuna.ru

[BoPoH]

Добрый день, столкнулся с такой проблемой, яндекс и гугл не индексируют топики, желательно чтоб индекс был всех новостей и топиков, не могу разобраться с роботом, кто может подсказать где беда?

плин едрен батон...
из первого сообщения возьмите роботс и мозг не парьте!

а так, у Вас 22 топика в яндексе  и 60 в гугле

[Yworld_garry]

dimalp777, у вас кривой роботс, он не работает, все дубли открыты, включены "понятные урлы")). Тему вы не читали и изобрели свой роботс, в панелях не проверили.
Возьмите из первого сообщения и подстройте под себя. Верните нормальные урлы.
А если пошли путем изобретений своего файла, то проверяйте в панелях гугла и яндекса на его работоспособность.

[dimalp777]

Изначально было так,


User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /$
Allow: /*.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*board=*wap
Disallow: /*board=*imode
Disallow: /*topic=*wap
Disallow: /*topic=*imode
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board*.html$
Allow: /*topic*.html$
Disallow: /
Sitemap: http://www.forumwuna.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php
Host: www.forumwuna.ru

[Yworld_garry]

Прекрасно что был такой, но такой вид например яху не поймет, майл запутается, гугл насканит все и потом!!! будет уже брать что то из соплей и вытягивать в общую.
Не стоит усложнять то что можно упростить и сделать понятным всем и управляемым, что то мне подсказывает что вы не сможете сами управлять индексацией при таком виде файла.
Что делать написал выше.