Первая версия robots.txt , для более полной индексации.

[Фисташка]

Приходит бот от яндекса и читает файл:

User-agent: Yandex
Disallow: /*mgallery*media*preview <- запрещены превью
Disallow: /*mgallery*media*thumb <- запрещены маленькие изображения
Allow: /*mgallery*item  <- разрешены страницы изображений
Allow: /*mgallery*media  <- разрешены сами изображения
Disallow: /*mgallery  <- всё остальное запрещено

Что не понятно?

А, вообще, не мучайтесь:
Для того чтобы картинки с сайта попали в поиск Яндекс.Картинок, необходимо, чтобы были проиндексированы страницы сайта. Из проиндексированных веб-страниц извлекается информация об изображениях.

В поиск по картинкам попадают только изображения, разрешенные в robots.txt и расположенные на страницах, разрешенных к индексированию в robots.txt.

Как и при поиске страниц в интернете, в поиске изображений важно наличие текстов, описывающих картинку. Лишь анализируя тексты, поисковая система может предположить, что изображено на картинке. Именно по текстам, которые относятся к картинкам, поиск находит изображения по запросам пользователей. Поэтому картинки, у которых отсутствуют содержательные описания, не попадают в поиск, т.к. не могут быть найдены по запросам.

Мы индексируем только картинки в стандартных графических форматах (JPEG, GIF и PNG). Не индексируются фоновые изображения и картинки, раскрывающиеся при помощи скрипта.

[Yworld_garry]

Посмотрите тут
http://help.yandex.ru/webmaster/?id=996567#1041216

Нужно экспериментировать с местоположением строки(ниже), но проверить в гугле и яндексе. Можно поклеить все, правила по выше приведенной ссылке для яндекса.
Disallow: /*media*fw

Время у меня нет сейчас что то выдумывать и вникать, проверьте для яндекса, в гугле возможно будет ок по порядку. если так, то сделайте два блока.
User-agent: *
Disallow: /*fw
Allow: /*media
Disallow: /*action

[mdm]

Yworld_garry, все получилось, нужно было всего лишь расположить правила в правильно порядке.

[Serifa]

Странное дело, Яндекс выложил в поиск страницы из раздела, куда ему доступ закрыт в принципе. Сам признался, на странице Яндекс. Вебмастер. У меня пауки включены в группу, для которой закрыты определенные разделы форума, и другие разделы они в самом деле не смотрят, а вот раздел с объявлениями других форумов все читают. Но он тоже запрещен.
При этом Яндекс запрещает страницы, которые вполне себе адекватные. И показывает мне при анализе "роботса" что-то странное, я не разберу, чего ему не нравится.
   
Строка 5-30   
User-agent: *
Allow: /*sitemap
...

Clean-param: PHPSESSID /index.php

Ладно, я до этого вообще на этот "Вебмастер" не заглядывала, хоть немного разберусь, что там и как.

[Abrikos]

Ребят всю ветку читать не осилил, поиск результатов не дал, у меня форум на поддомене, т.е. forum.site.net у самого сайта есть robot.txt, также нужен и для форума, как мне быть ? Надо изменить robot.txt тот что в первом посте этой темы для поддомена ? Если да, то какого вида должны быть записи, либо изменить robot.txt основного домена для форума на поддомене, если да то опять же какого вида должны быть записи, спасибо за внимание !

[Mavn]

вы не осилили прочитать мы не осилим в сотый раз писать одно и тоже

[Bugo]

Ребят всю ветку читать не осилил, поиск результатов не дал, у меня форум на поддомене, т.е. forum.site.net у самого сайта есть robot.txt, также нужен и для форума, как мне быть ? Надо изменить robot.txt тот что в первом посте этой темы для поддомена ? Если да, то какого вида должны быть записи, либо изменить robot.txt основного домена для форума на поддомене, если да то опять же какого вида должны быть записи, спасибо за внимание !

Если пользуетесь SMF 2.0, попробуйте мод Optimus Brave.

[Istoric]

Если пользуетесь SMF 2.0, попробуйте мод Optimus Brave.

Установил на RC5 в разделе админики - появилось Поисковая оптимизация но в ней написано "Установленных модов, имеющих настройки, в данном разделе нет." Что сделал не так? Все встало без ошибок...

[Bugo]

Мод совместим с финальной версией 2.0, но не с RC.

[Istoric]

Мод совместим с финальной версией 2.0, но не с RC.

а для RC5 мод будет? а то как то боязно обновлятся до финальной, боюсь моды перстанут работать

[Bugo]

Для RC5 был, но теперь переписан, для полного использования хуков интеграции.

[Abrikos]

Bugo спасибо, поставил мод, все отлично работает !

[kak2z]

Ребят, подскажите сколько лучше всего для быстрой индексации ставить Crawl-delay. Прочитал кучу обзоров - одни пишут 2, другие 150... слишком уж большой разбег цифр)

[BIOHAZARD]

лучше - никакой

будут грузить форум, тогда и будете репу чесать

[kak2z]

Спасибо)) Ваше мнение я уважаю, да и сам так думал сделать)

[SJay]

Давно использую роботс из этой темы с первого поста, в нем для индексации закрыта мобильная версия сайта. В таком случае когда приходит мобильный бот яндекса или гугла то получает отказ индексации. Не нужно в таком случае открыть для этих ботов  индексацию этого раздела или поправьте если я не прав.

[BIOHAZARD]

да, можете для мобильного бота создать отдельный блок в robots.txt
после этого проверьте корректность robots.txt для обоих ботов (мобильного и обычного) в панели вэб-мастера

[SJay]

Ок, добавил:

User-agent: Googlebot-Mobile
Allow: /*wap

User-agent: Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots)
Allow: /*wap

[Bugo]

Правильнее так.

[kak2z]

У меня такой роботс.тхт

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*media
Allow: /*forum
Allow: /*arcade
Allow: /*rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: kak2z.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Mediapartners-Google
Allow: /*

User-agent: Googlebot-Mobile
User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

если что то видите не правильное - подскажите)

[Bugo]

Вместо строчек

Код Выделить Развернуть


User-agent: Mediapartners-Google
Allow: /*
наверное лучше так:

Код Выделить Развернуть


User-agent: Mediapartners-Google
Disallow:

[remingtone]

господа, такой вопрос. в роботс запрещены профили пользователей. при этом ники пользователей будут учитываться в ключевых словах гугл или нет?

[Макар]

будут

[remingtone]

премного благодарен

[SJay]

Добрый день. В последнее время я стал наблюдать в webmastere yandex резкий рост исключенный страниц(график можно посмотреть во вложениях). У меня стоит роботс от Yworld_garry. Он, собственно, и блокирует страницы. В свою очередь, страницы в поиске планомерно растут, т.е. все нормально. Посмотрел сами исключенные страницы, там все вида
/index.php?topic=1480.0;prev_next=prev
/index.php?topic=1481.0;prev_next=prev
/index.php?topic=1482.0;prev_next=prev
/index.php?topic=1486.0;prev_next=prev
/index.php?topic=1488.0;prev_next=prev
/index.php?topic=1495.0;prev_next=prev
/index.php?topic=1499.0;prev_next=prev
и
/index.php?topic=2256.msg19407
/index.php?topic=2256.msg19409
/index.php?topic=2256.msg19410
и т.п.
Получается что все правильно, но смущает то, что их количество так резко увеличивается. Активность на форуме не большая 60-120 сообщений в сутки, и темы 15-20 за неделю. Поэтому не из-за роста страниц это. Хотелось бы узнать нормально это или нет?

[kak2z]

http://kak2z.ru/robots.txt

Код Выделить Развернуть

Disallow: /*prev_next

вроде так и должно быть

[SJay]

kak2z, роботс у меня такой же. И ,дейсвительно, все так и должно быть. Но не понятно откуда за пару недель появилось 1000 дублей.

[kak2z]

Пути Яндекса неисповедимы...

[remingtone]

Вместо строчек

Код Выделить Развернуть


User-agent: Mediapartners-Google
Allow: /*
наверное лучше так:

Код Выделить Развернуть


User-agent: Mediapartners-Google
Disallow:

чем лучше, Буго? у Вас на сайте я подобных строк не увидел.

[Bugo]

Лучше тем, что директиву Disallow понимают все пауки, в отличие от Allow.
Строчка "Disallow:" равнозначна "Allow: /*"

Я не пользуюсь рекламой от Google.

[Макар]

чем лучше, Буго? у Вас на сайте я подобных строк не увидел.

тем что если поставишь адсенс, то будет крутиться соцреклама пока не разрешишь медиа роботу индексировать все

[remingtone]

тем что если поставишь адсенс, то будет крутиться соцреклама пока не разрешишь медиа роботу индексировать все

где будет крутиться? в данный момент она не используется, но может быть когда-то... а на тот момент уже будет все проиндексировано или не правильно мыслю?

[Макар]

уууу.... везде где выводится код рекламы
если страница приндексирована рекламным ботом, то на ней показываюся платные объявления, если нет, то соц объявления за клики по которым ничего не платят
потому и надо боту гоши давать отдельную команду фас

User-agent: Mediapartners-Google
Allow: /*index.php?action
Allow: /*.new
Allow: /*.msg
Allow: /*.topicseen

[remingtone]

потому и надо боту гоши давать отдельную команду фас

User-agent: Mediapartners-Google
Allow: /*index.php?action
Allow: /*.new
Allow: /*.msg
Allow: /*.topicseen

понял! а в основной индекс это не полезет? в смысле, action, msg и т.п. токо для рекламы?

[Макар]

не не полезет оно ж запрещено для основного индекса

[Xansen]

а если у меня просто написано:
User-agent: Mediapartners-Google
Disallow:

разве так не лучше?

[Yworld_garry]

а если у меня просто написано:
User-agent: Mediapartners-Google
Disallow:

разве так не лучше?

Можно и так, но смысла немного. Зачем вам лишняя нагрузка при скане ботом всякой хрени, где и рекламы не будет никогда?

[artzor]

По какой причине при строке:

Disallow: /forum/*action

При  очередном апе Яши вылезли все профили ?

Проверил в панели вебмастера ссылку ввида - http://site.ru/forum/index.php?action=profile;u=664 - "Разрешено" . . .

robots.txt из первого сообщения.

[Bugo]

У вас в robots вообще нет такой строки.

[Yworld_garry]

Очень отдаленно напоминает то что в первом посте.
Я бы вообще его в панелях проверил, возможны конфликты разрешений...
Не совсем логично сконфигурировано, на взгляд.

[remingtone]

По какой причине при строке:

Disallow: /forum/*action

При  очередном апе Яши вылезли все профили ?

Проверил в панели вебмастера ссылку ввида - http://site.ru/forum/index.php?action=profile;u=664 - "Разрешено" . . .

robots.txt из первого сообщения.

смотрите отсюда и до конца

[artzor]

У вас в robots вообще нет такой строки.

Я сменил его утром на тот который был ранее, до выяснения обстоятельств (вариант, кстати, так же не очень)

смотрите отсюда и до конца

Благодарю, почитаю ...

Поправил, исходя из советов, но, все равно ссылки типа:

http://dbprogs.ru/forum/index.php?action=profile;u=2
http://dbprogs.ru/forum/index.php?action=markasread;sa=all;c2f9ca018b=865f6f83a330c6c3d2ceb4730ea3bcd1

разрешены ...

Может я где-то туплю, не знаю ...

[Yworld_garry]

Может я где-то туплю, не знаю ...

А зачем вам строчка в robots
Allow: /*forum
Она отменяет все ниже перечисленное 
По этому все и влетает в индекс.

[artzor]

Опа, проглядел ... Спасибо огромное, сейчас все ок.

[Xansen]

стоит smf_gallery.
там есть возможность просмотреть самые комментируемые фото, где они разбиваются на страницы и с-но урлы вида ***&start=10 и т.п.

сама галера у меня открыта в роботс. Ничего страшного с форумом не случится если я *start в disallow закину и стоит ли вообще?

[Yworld_garry]

С форумом точно ничего не случится. Закидывайте все что считаете не должно быть в индексе. Только проверяйте в панелях ПС.
И конечно выкладывайте сюда пример вашего куска дополнения в файле robots.txt, возможно будет полезно другим. Да и ошибки, если они есть поправят.

[Xansen]

Собственно у меня всё стандартно:

User-agent: *
Disallow: /*start #закрываем в SMF Gallery Pro 1.3.14 страницы вида ?action=gallery;sa=listall;type=comments;orderby=desc;start=80
Allow: /*sitemap #открываем sitemap
Allow: /*gallery # открываем SMF Gallery Pro 1.3.14
Allow: /*downloads # открываем модуль downloads
Allow: /*rss # открываем rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: forum.b-m-w.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot-Mobile
User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

[millioner85]

Господа, а что никто не закрывает от индексации сессии:

Disallow: /*PHPSESSID

[Yworld_garry]

Ви

Господа, а что никто не закрывает от индексации сессии:

Disallow: /*PHPSESSID

Видимо не смотрят на первый пост.

[millioner85]

Прошу проверить на корректность данный роботс:
Из модов стоит Sitemap.

User-agent: Googlebot-Mobile
User-agent: YandexImageResizer
Allow: /*wap
Allow: /*imode
Disallow: /

User-agent: Mediapartners-Google
Allow: /*action
Allow: /*.new
Allow: /*.msg
Allow: /*.topicseen

User-agent: *
Allow: /*sitemap
Allow: /*action=forum
Allow: /*rss
Allow: /$
Allow: /*board*.0$
Allow: /*topic*.0$
Disallow: /Sources/
Disallow: /cgi-bin/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /cache/
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Themes/
Disallow: /*action
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /index.php$
Disallow: /*theme
Disallow: /*start
Disallow: /*;
Clean-param: PHPSESSID/index.php

User-agent: slurp
User-agent: msnbot
Crawl-delay: 120

User-agent: Twiceler
User-agent: Baiduspider
User-agent: W3C-checklink
Disallow: /


Если есть комментарии - готов выслушать. Особенно интересует корректность использования параметра Clean-param!