Первая версия robots.txt , для более полной индексации.

[Yworld_garry]

при таком содержимом robots.txt

Добавить над Host
Disallow:

[supmener]

Правильно ли понимаю, что строчка "User-agent: *" означает разрешение любому боту индексировать все что угодно?
Правильно ли понимаю, что строчка "Disallow:" что то запретит?
А что именно?

[Yworld_garry]

Неправильно.

User-agent: * # не конкретизирует бота, а для всех правила.
Disallow: # разрешение
Allow: # равнозначно выше описанному
Disallow: / # запрет

[supmener]

Исправил, проверьте пожалуйста:
http://vedomo.ru/robots.txt

[Yworld_garry]

Исправил, проверьте пожалуйста:

User-agent: *
Host: vedomo.ru

Не вижу нового...

[supmener]

Ой, в FTP клиенте не нажал на кнопку, извеняюсь. Сейчас закачал.

[Yworld_garry]

Сейчас закачал.

Ок.

[supmener]

Большое спасибо.

У меня в подвале на главной ссылки на карты:
Обновляется плагином Оптимус Браве при добавлении новых тем:
http://vedomo.ru/sitemap.xml
Эту создал в полуручном режиме:
http://vedomo.ru/a/sitemap2.htm
Имею еще папку http://vedomo.ru/n/ , на нее не делал карту сайта.
Если в robots.txt добавлю Sitemap: http://vedomo.ru/sitemap.xml
то две другие директории уже могут проигнорироваться ботами?

[Yworld_garry]

Делайте полные карты всего что есть, хоть 10 штук и добавляйте в панели яндекса и гула.
Не забываем что мощности поисковиков выросли даже не в разы с момента введения карт сайта.
Так что если все подсовывать ПС, проблем не будет.

[supmener]

Гугл сервис для вебмастеров сообщил об ошибке, что http://www.vedomo.ru/a/sitemap2.htm html, то есть не поддерживаемого формата. Что можно предпринять в данной ситуации? Долго его делал.

[Yworld_garry]

Что можно предпринять в данной ситуации?

Расширение и формат должен быть как минимум xml

[supmener]

Запустил Xenu's Link Sleuth. Понял, как в нем делать карту сайта, процесс пошел. У меня получится 3 xml файла. Их все в трех строках разместить можно в robots.txt или как лучше поступить? Собираюсь дополнительно добавлять сайт в каталоги через http://1ps.ru/cost/profy/.

[Yworld_garry]

http://1ps.ru

разместить можете сколько угодно, но тот сервис что вы привели, просто слив денег и ни какого толка, его время прошло много лет назад.

[supmener]

Так как не знаю, как правильно вставить три файла карт сайтов в один robots.txt, разместил наугад. Прошу посмотреть, правилен ли синтаксис:
http://vedomo.ru/robots.txt

[digger®]

Так как не знаю, как правильно вставить три файла карт сайтов в один robots.txt, разместил наугад. Прошу посмотреть, правилен ли синтаксис:
http://vedomo.ru/robots.txt

Почему просто не прочитать любую доку про robots.txt, от Яндекса, например - http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

[supmener]

Увидел у себя ошибку. Не указал "Sitemap: " три раза. Надо  ли Allow: или Disallow: указывать для Sitemap:? Пока что удалил Disallow, как было 3 раза, так как не понятно, и поставил, как в справке Яндекса:

Код Выделить Развернуть

User-agent: Yandex
Allow: /
Sitemap: http://___________________________mysite.ru/site_structure/my_sitemaps1.xml
Sitemap: http://___________________________mysite.ru/site_structure/my_sitemaps2.xml

Здесь Allow: / указано для строк sitemap, которые идут за этой строкой ниже или это настройки для того, что выше?

Сейчас вот так:

[Beer]

Наиндексировано:

Код Выделить Развернуть

sdfsadfasf.html?category_id=31
Правильно надо так:

Код Выделить Развернуть

sdfsadfasf.html
Т.е. без ?category_id=31

Сделать запрет правильно будет так?

Код Выделить Развернуть

Disallow: /*?category_id=*

[Yworld_garry]

Сделать запрет правильно будет так?

Сорри, не было, точнее просто не мог зайти и посмотреть, время ноль...
Думаю уже все решили свои вопросы.

[Beer]

Прописал, проверка не ругалась. Что будет - покажет позже.
У меня яндекс wap2 понаиндексировал - хотя в файле

Код Выделить Развернуть

Disallow: /forum/*wap
Disallow: /forum/*wap2

[Yworld_garry]

У меня яндекс wap2 понаиндексировал - хотя в файле

Возможно у вас еще какие то запреты разрешения стоят, которые конфликтуют. Проверь те в панеле веб мастера свой роботс.

[Dian]

Для оптимальной индексации форума и его всех тем. Что скажите по составлению роботс :

Код Выделить Развернуть

User-agent: *
Allow: /$
Allow: /*board
Allow: /*topic
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Allow: /index.php?action=kitsitemap;xml
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*modifykarma
Disallow: /*unread
Disallow: /*wap
Disallow: /*imode
Disallow: /*action=
Disallow: /*.new
Disallow: /*sort=
Disallow: /*PHPSESSID
Disallow: /go.php


User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: / 


User-agent: Slurp

[Yworld_garry]

Что скажите по составлению роботс :

В первом посте готовый!
Остальное все описано в этой теме.

[Dian]

В первом посте готовый!

Окей. Спасибо.

[buben77]

гуглу вэбмастеру эти строки не нравятся

Код Выделить Развернуть

Crawl-delay: 5
Clean-param: PHPSESSID /index.php

[Yworld_garry]

гуглу вэбмастеру эти строки не нравятся

Где вы их видите в файле из первого поста?

[buben77]

Код Выделить Развернуть

User-agent : *
Allow : / #

а если все разрешить? так можно или нет

[Yworld_garry]

а если все разрешить? так можно или нет

Можно все, только результат разный.)))

Не стоит разрешать все!

[Snow_Irbis]

Интересуют мнения относительно такого robots.txt для форума на SMF

Код Выделить Развернуть

User-agent: *
Allow: /
Disallow: /*wap
Disallow: /*wap2
Disallow: /*.msg
Disallow: /*.new
Disallow: /*topicseen
Disallow: /*sort
Disallow: /*action
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Smileys/
Disallow: /cache/
Disallow: /Sources/
Disallow: /Packages/     
Crawl-delay: 5

[Yworld_garry]

Интересуют мнения относительно такого robots.txt для форума на SMF

А чем не подходит уже работающий из первого поста этой темы.
А заново обсуждать...в общем вы все ответы найдете в этой теме, даже при условии своего любого варианта файла и компановки.

[Yworld_garry]

Обновил первый пост и добавил новую версию robots.txt

Описание в первом сообщении.

[Alex32]

добавил новую версию robots.txt

Заменить просто на ваш ...Для тех у кого форум в корне сайта:... или что то дописать? Форум на поддомене в корне

Мой:

Код Выделить Развернуть

User-agent: *
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=community
Allow: /*action=scl
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID

User-agent: Googlebot
Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=media
Allow: /*index.php?action=community
Allow: /*action=scl
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID

User-agent: Yandex
Allow: /*action=forum
Allow: /*sitemap
Allow: /*action=blogs
Allow: /*action=blog
Allow: /*type=rss
Allow: /*index.php?action=community
Allow: /*action=scl
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*msg
Disallow: /*profile
Disallow: /*help
Disallow: /*search
Disallow: /*searchg
Disallow: /*mlist
Disallow: /*sort
Disallow: /*recent
Disallow: /*register
Disallow: /*groups
Disallow: /*unread
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*go.php
Disallow: /*showtopic
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Sitemap: http://forum.debryansk32.ru/sitemap.xml
Host: forum.debryansk32.ru

User-agent: Mail.Ru
Disallow:
Crawl-delay: 10

User-agent: Slurp
Crawl-delay: 100



[Yworld_garry]

Заменить просто на ваш

Да, заменить. Если ничего в свой не добавляли, если добавляли, то отредактировать под себя.

[Yworld_garry]

Придется еще раз пояснить, дабы не отвечать на однотипные вопросы...

Allow: /*action=forum - для тех у кого установлен портал, нет портала, удалите.

Disallow: /index.php$ - удаляет из индекса дубль главной страницы мой сайт.ru/index.php и только ее. Можно удалить из файла, со временем поисковики склеят сами, правда иногда сие долго.
Опять же для ботов рекламных такое писать не надо.

Allow: /*arcade - пример для установленных у вас модификаций, как открыть для индексирования, заменить своими или удалить.

Не нужен пропуск строки над картой сайта и хостом.

Disallow: /*go.php - если стоит мод редиректа или свой редирект.

Host: www.мой сайт.ru/мой сайт.ru - пример написания или с www или без, не нужно указывать http://

Эти правила можно удалить, если не стоят системы контекстной рекламы, но и если оставите ничего страшного не случится

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

если делали какие то вставки и правила для себя, скопируйте их в новый файл или наоборот.

Используйте только один вариант файла, либо в корне, либо в папке. Не нужный вариант удалите!!!
Не забывайте проверять в панелях веб мастера яндекса и гугла.

[Mакс-23]

Allow: /*action=forum

Если оставить, будет ли правильным? т.е. оставить если я к примеру собираюсь поставить портал позже... Вдруг я забуду прописать это правило.

[Yworld_garry]

Если оставить, будет ли правильным?

Можете оставить, проблем не будет.
Возможно он у вас будет так называться после установки
Allow: /*action=community
так же можно добавить, в общем хуже не будет.

[BoPoH]

в связи с установкой ресейлера на форум,  в индекс пошли ссылки типа

Код Выделить Развернуть

/index.php?theme=*;topic=* вроде как дубли, а если закрыть, как на это Гугля отреагирует или закрыть только яндексу?

[Yworld_garry]

вроде как дубли, а если закрыть, как на это Гугля отреагирует или закрыть только яндексу?

Приведите ссылку с таким /index.php?theme=*;topic=* и причем тут тема оформления

[BoPoH]

не совсем понял...
/index.php?theme=1;topic=8109 обычная тема оформления
/index.php?theme=5;topic=8109 resseler

[Yworld_garry]

Я сейчас реально не могу понять что тут у вас, а моды никакие не стоят делающие вид урла?
в нормальном раскладе все ссылки выглядят так /index.php?topic=8109 и /index.php?board=57.0

[BoPoH]

ссылки такого вида появляются на кнопке смены темы оформления, вот отсюда http://www.simplemachines.ru/index.php?topic=17952.msg146365#msg146365

[Yworld_garry]

В общем ни той ни другой не должно быть на форуме, по этому обе закрывайте.

[BoPoH]

Ок, спасибо

[Бронсуик]

Прошу уважаемого Yworld_garry,
помочь в разрешении проблемы.При добавке в Яндекс,вижу вот что
>>Указанный URL запрещен к индексации в файле robots.txt на сайте мойсайт.ru.<<
Что не так я сделал?
Спасибо

User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://мойсайт/sitemap.xml


User-agent: Googlebot
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://мойсайт/sitemap.xml


User-agent: Yandex
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://мойсайт/sitemap.xml
Host: www.мойсайт/мойсайт

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

[Yarik]

Попробуй этот


User-agent: *
Allow: /*media
Allow: /*forum
Allow: /*arcade
Allow: /*action=forum
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*css
Allow: /Themes/*js
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /index.php$
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap: http://мой сайт/index.php?action=sitemap;xml
Host: мой сайт.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Mediapartners-Google
Allow: /*

User-Agent: YadirectBot
Disallow:

User-Agent: YandexDirect
Disallow:

[leon]

Что такое Host: www.мойсайт/мойсайт?
Достаточно будет Host: www.мойсайт

[BoPoH]

Указанный URL запрещен к индексации в файле robots.txt на сайте мойсайт.ru

ссылку то покажите, возможно она и должна быть запрещена

[Yarik]

Ок, спасибо

Ворон а подскажи пожалуйста более подробно что ты и как закрывал по совету выше?...Спасибо.

[GeorG]

Код Выделить Развернуть

Disallow: /*theme=*

[BoPoH]

Код Выделить Развернуть

Disallow: /*theme=*

ага

[janis79]

Очень интересный здесь пост. Вот с wordpress я изучил досконально robots, а с форумом SMF 2.0.10 впал в полный ступор. Подскажите пожалуйста, вот здесь форум на поддомене в корне сайта - http://forums.kruto-text.ru/, пока форум голый и без модов. Какой для него нужен robots, может дадите пример и если есть таков (буду очень признателен), то можно немного с пояснениями, а то пока в неведении просто. Мне хотя бы немного вникнуть, я быстро разберусь.