Первая версия robots.txt , для более полной индексации.

[SergeyA]

Если вы про форум из вашего профиля, то тот что из первого поста. Там есть комментарии.

не понял))

ведь можно загнать себе файл robots.txt с этого форума? правильно? просто сохранить его себе в корень?
ну меня не субдомен, сам форум лежит в корне=)

[Igrok]

Возможно стоит подождать апа, так как сейчас масса у кого подзависли новые странички и в индекс не лезут и даже на серьезных сайтах и больших. Если проверили в панелях правильность файла и все отрабатывает, то значит дело не в роботс, он проверен и работает, просто есть моменты конкретно для проектов и под них, например открытие модулей.

Благодарю.
Да, robots правильный, ошибок нет. И еще момент - Гугл индексирует нормально, странички отсутствуют только в Яндексе.

Но у вас там только всяких счетчиков и еще чего то больше 15 ссылок, так что может и санкции пришли.

Это кнопки дружественных ресурсов. А чем чревато их наличие? С декабря все это добро стоит нормально.
Счетчики наверное стоит переполовинить? Только не знаю какие убрать, а какие оставить.. это мой первый проект, посему трудно ориентироваться.

Еще момент, у вас влючены дружественные урлы, писали миллион раз не включать, это зло. И к ним роботс не тестировался никак и использовать их нельзя, нужно ЧПУ, ставьте мод соответствующий.

Мод обязателен или можно просто выключить дружественные ссылки? Мне как бы не принципиально видеть красивый линк на тему.

[Yworld_garry]

ну меня не субдомен, сам форум лежит в корне=)

ну дык возьмите из первого поста в этой теме и уберите из него директорию форум и получится для вашего в корне.

[SergeyA]

ну дык возьмите из первого поста в этой теме и уберите из него директорию форум и получится для вашего в корне.

Ну, если я хочу быть уверенным, что ничего не накосячу, могу ж я просто взять файл с данного форума?
И прикрутить к себе?
так просмотрел его, домен не прописан, то есть никаких примочек связанных с этим сайтом нету)

Правильно?или я что-то не понимаю?

http://www.simplemachines.ru/robots.txt

[Yworld_garry]

Это кнопки дружественных ресурсов.

Нет дружественных ресурсов в интернете))
Убрать нафиг все или закрыть от индексации.
Счетчики, да хватит одного любого невидимого. Например яндекс метрики.

Мод обязателен или можно просто выключить дружественные ссылки? Мне как бы не принципиально видеть красивый линк.

Отключить и подождать пока переиндексирует яндекс, удаля весь тот хлам что получился при использовании этих ссылок. Мод не обязательно ставить.

[Yworld_garry]

так просмотрел его, домен не прописан, то есть никаких примочек связанных с этим сайтом нету)

да без проблем, берите))

[SergeyA]

да без проблем, берите))

Вы это сейчас серьезно?или пошутили?))

Свой домен обязательно прописывать в файле роботс?

[Yworld_garry]

Я не пошутил, просто он такой же что и в первом посте. Но берите любой.
Это не домен, а точнее прописывается выбранное вами/ПС главное зеркало сайта, то что будет участвовать в выдаче пс и индексироваться.

[SergeyA]

Я не пошутил, просто он такой же что и в первом посте. Но берите любой.
Это не домен, а точнее прописывается выбранное вами/ПС главное зеркало сайта, то что будет участвовать в выдаче пс и индексироваться.

Но почему-то на этом форуме оно не прописано?

[Yworld_garry]

Но почему-то на этом форуме оно не прописано?

Потом что этому домену не первый год и расклейка и все что связано с этим ему не грозит, вообще ему ничего не грозит по ряду причин.

Остальное по зеркалам и все по чему угодно не по теме топика, в новые темы пожалуйста, в этой уже море инфы по всем вопросам связанным с каждым пунктом файла. Или читаем весь топик))

[Igrok]

Нет дружественных ресурсов в интернете))
Убрать нафиг все или закрыть от индексации.
Счетчики, да хватит одного любого невидимого. Например яндекс метрики.

У нас не совсем обычные интернет ресурсы)) И у них так же стоят кнопки моего портала, не закрытые от индексации.
Со счетчиками вы наверное правы, я их накидал по принципу "почему бы и нет" ))
Хотя на хотмейле я в каком то рейтинге участвую... в общем поглядим. Рамблер и Мейл по сути бесполезны, на мой взгляд

Отключить и подождать пока переиндексирует яндекс, удаля весь тот хлам что получился при использовании этих ссылок. Мод не обязательно ставить.

Благодарю, отключил.

[Yworld_garry]

И у них так же стоят кнопки моего портала, не закрытые от индексации.

Ваш выбор конечно, но поверьте на слово, что столько сквозняков не закрытых, ни к чему хорошему не приведет.
Да и рейтинг хотмайла вам плюсов не даст))

[Igrok]

Ваш выбор конечно, но поверьте на слово, что столько сквозняков не закрытых, ни к чему хорошему не приведет.
Да и рейтинг хотмайла вам плюсов не даст))

Закрыл тегами, посмотрим, как отреагируют поисковики. Еще раз благодарю за подсказки, вы мне очень помогли, Гарри.

[Igrok]

Закрыл тегами, посмотрим, как отреагируют поисковики. Еще раз благодарю за подсказки, вы мне очень помогли, Гарри.

Индексация прошла, все хорошо.
У меня вопрос возник - на сколько имеет смысл индексировать титулы разделов? Может стоит их закрыть правилом Disallow: /*board?
На мой взгляд для пользователя удобнее выходить прямо на контент, а не разбираться в каком он разделе из представленных. Или я чего-то не учитываю?

[Yworld_garry]

У меня вопрос возник - на сколько имеет смысл индексировать титулы разделов?

Не стоит этого делать, вы закроете весь форум. Пользователю при удачном раскладе будет выдана в поиске нужная страница с искомым контентом.

[Igrok]

Не стоит этого делать, вы закроете весь форум. Пользователю при удачном раскладе будет выдана в поиске нужная страница с искомым контентом.

Ясно, благодарю вас, Гарри.
Robots на высоте - в выдаче исключительно нужные страницы и ноль мусора.

[Igrok]

И снова у меня вопрос. В запрещенные robots.txt страницы попали вот эти адреса:
http://forum.grayport.ru/index.php?topic=3.0
http://forum.grayport.ru/index.php?topic=6.0
http://forum.grayport.ru/index.php?topic=36.0
http://forum.grayport.ru/index.php?topic=33.0
http://forum.grayport.ru/index.php?topic=30.0
и так далее, всего 25 ссылок
http://forum.grayport.ru/index.php?board=5.0
http://forum.grayport.ru/index.php?board=6.0
http://forum.grayport.ru/index.php?board=34.0
http://forum.grayport.ru/index.php?board=37.0
и так далее, всего 29 ссылок.

Яндекс пишет, что документ запрещен в robots. Я теряюсь в догадках, поскольку идентичные ссылки (за исключением номеров) висят в индексе. Подскажите пожалуйста, что за напасть такая и как с ней бороться.
Robots прежний, ничего в нем не менялось:

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Sitemap: http://forum.grayport.ru/sitemap.xml
Host: forum.grayport.ru

User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

Яндекс пишет, что документ запрещен в robots.

Яндекс пишет что все нормально

[Igrok]

Яндекс пишет что все нормально

Да, пишет. Но страницы в исключенных ссылках  по причине запрета в robots и в индексе их нет. Я в полном недоумении...

[Yworld_garry]

Да, пишет. Но страницы в исключенных ссылках  по причине запрета в robots и в индексе их нет. Я в полном недоумении...

Возможно от прошлого вашего роботс. Яндекс не быстр и инфа та что в панели может отличатся от действительности.

[Igrok]

Возможно от прошлого вашего роботс. Яндекс не быстр и инфа та что в панели может отличатся от действительности.

Я добавил скрин в предыдущий пост, возможно вам он что нибудь скажет.
Роботс в этом виде около месяца, может чуть больше. Этих ссылок не было.
В общем, как и с индексом нужно вооружится терпением и ждать, я правильно понимаю?

[GeorG]

Роботс в этом виде около месяца, может чуть больше. Этих ссылок не было.

Там вон видно, что последние посещения поисковика этих страниц, ещё январём датировано.

[Igrok]

Там вон видно, что последние посещения поисковика этих страниц, ещё январём датировано.

Это означает, что он просто не проводил их индексацию, так?
А как с теми, где прочерк? Как раз они и появились сравнительно недавно, ранее таких было всего парочка, а основную массу составляли сессии и мессаги.

[GeorG]

А как с теми, где прочерк?

Ну те видимо, не в этом году индексировались просто.

[Alanamana]

Подскажите, какая ссылка правильная карты сайта, чтобы добавить ее в robots.txt и в гугл и яндекс, эта:
http://сайт.ру/index.php?action=sitemap;xml

или эта:
http://сайт.ру/sitemap.xml

И можно ли добавлять в robots.txt два варианта карты сайта, то есть так к примеру:
Sitemap: http://сайт.ру/index.php?action=sitemap;xml
Sitemap: http://сайт.ру/sitemap.xml

Просто до этого я установил мод sitemap_2-2-1 , с которого мне получается ссылка карты сайта http://сайт.ру/index.php?action=sitemap;xml, потом позже узнал, что с помощью мода Optimus Brave можно создать самому через Диспетчер задач свою карту сайта, доступной по ссылке http://сайт.ру/sitemap.xml

Подскажите пожалуйста, что здесь не так и что лучше выбрать, просто я думаю, что мод sitemap_2-2-1 мне не нужен.
И еще в добавок - просматривал robots.txt где-то на 50-ти сайтах, в некоторых их них не указан Host, вообще нет такого слова, правильно ли это и у некоторых было по две карты сайта, как я указал выше, тоже, правильно ли все это указано или нет?

[Yworld_garry]

Карту указывайте ту которая у вас стоит и путь правильный до нее.
Можно две и три... так же можно и в гугл и яндекс добавит сколько угодно карт.
Host - лучше указать, меньше возможных косяков. даже если вы укажите предпочитаемый адрес в панелях вебмастера.

[Alanamana]

Спасибо за ответ. Насчет хоста, мне было просто интересно, правильно ли делают люди, просто смотрю на роботсы некоторых сайтов и просто в шоке, зачем их тогда ставить, себе же хуже, у некоторых просто указано:
User-agent: *
Allow: /
И все, больше ничего)))
Зачем тогда вообще создавать документ, если все дозволено)))))))))

Все же мне бы хотелось остановится на одной карте сайта, поэтому подскажите пожалуйста, Yworld_garry, какую лучше оставить, от мода sitemap_2-2-1 и правильна ли эта ссылка от него карты сайта: http://сайт.ру/index.php?action=sitemap;xml  или оставить карту сделанную с Диспетчера задач, доступную по ссылке http://сайт.ру/sitemap.xml - вот остались не решенные вопросы. 

[Yworld_garry]

Карту оставляйте ту которая вам больше нравится. С возложенными функциями справятся обе.

[Alanamana]

Спасибо, теперь все понятно. Вопросов больше не имею. 

[Hapson]

Всем привет!
Подскажите пожалуйста, что я сделал не так, или чего я не сделал.
Вообщем не так давно перенес форум с бесплатного сервиса на новый платный хостинг и поменял домен.
Сегодня решил открыть его для пауков. Установил Optimus Brave, сделал карту сайта, сделал роботс. Отправил карту в гугл и яндекс - оба приняли. А вот с роботсом какая-то проблема. Яндекс принял роботс без замечаний, а вот гугл отобразил мне 596 предупреждений. Тем не менее наблюдал как бот гугла активно и долго шарился по форуму.
В индекс гугла попала главная, вот с таким красивым сниппетом

В кабинете мастеров вот что






Ну и вот собственно сам роботс:

Код Выделить Развернуть

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /
User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /$
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*wap
Disallow: /*board=*wap
Disallow: /*topic=*wap
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://lanos-drive.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php
Host: lanos-drive.ru

Что не так? Подскажите. Почему нет сниппета и почему заголовок такой красивый: посетить страницу?

[Yworld_garry]

Подождите не так быстро даже в гугле. Это наверно кеш от закрытого от ботов сайта.
Да и то что у вас заблочено в роботс., точнее что показывает гугл как заблоченное, проверьте там же в панеле. Если все ок и разрешены те урлы к индексации, значит они так же из за ранее закрытого от индекса проекта. Немного проанализируйте урлы.

[Hapson]

Подождите не так быстро даже в гугле. Это наверно кеш от закрытого от ботов сайта.
Да и то что у вас заблочено в роботс., точнее что показывает гугл как заблоченное, проверьте там же в панеле. Если все ок и разрешены те урлы к индексации, значит они так же из за ранее закрытого от индекса проекта. Немного проанализируйте урлы.

Да я что-то там в кабинете мастеров не разобрался наверное, так как могу посмотреть только 2 урл, те что выше на скрине.
А вообще да - надо подождать. Так как до сегодняшнего дня в роботс был такой:

Код Выделить Развернуть

User-agent: *
Disallow: /

Ну а так вообще в роботсе нет ничего лишнего?

И еще вопросик, какую карту сайта лучше использовать, ту что в инструментарии Optimus Brave или отдельный мод Sitemap? Нужна ли ботам HTML версия карты?

Я так понял мод Sitemap не зоздает в корне .xml файл. И адрес до карты с отдельным модом длинный получается. Или ботам все равно?

[GeorG]

Или ботам все равно?

Всё равно.

[Hapson]

Всё равно.

Ясно, спасибо. Собственно я не вижу необходимости в карте для форума, значит сойдет и простая .xml.

[Hapson]

Скажите пожалуйста, как запретить индексацию одной страницы (темы, поста), вот:
Правила форума
Мой роботс

Код Выделить Развернуть

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /$
Allow: /*action=.xml
Allow: /*sitemap
Disallow: /*action
Disallow: /*wap
Disallow: /*board=*wap
Disallow: /*topic=*wap
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://lanos-drive.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php
Host: lanos-drive.ru

[GeorG]

Код Выделить Развернуть

Disallow: /*topic=153.*

[Hapson]

GeorG
Благодарю!

[maxville]

Ставим вот этот мод SMF Sitemap

А какую подобный мод можно использовать для SMF 2.0.4? По вашей ссылке оба не ставятся, ругаются на несовместимость.

[Сапожник]

Этот ставится точно (ну, может понадобится эмуляция версий)
http://custom.simplemachines.org/mods/index.php?mod=755

[maxville]

И еще вопрос, у меня форум был раньше в корне сайта, теперь я его перенёс на ___mysite.ru/forum/ и в корне сайта указал в robots.txt 301 редирект для форума. Сайт заполняю интересным контентом. Вот этот 301 редирект повлияет как нить на индексацию контента именно с сайта?

[Yworld_garry]

указал в robots.txt 301 редирект для форума

Такого не бывает. Возможно вы указали в htaccess редирект и если указали все правильно и только в части форума, то должно быть все нормально.
Единственно надо усилить внешнюю работу с сайтом новым. Быстрее и надежнее и без последствий такой рокировки в пс все пройдет.
По соц сетям по раскидывать, твиттер... Можно внешних прикупить.

[maxville]

Такого не бывает

опечатался. Конечно в htaccess.

А что значит в части форума?

[lyagushatnik]

Проверьте пожалуйста мой robots.txt , может не корректный. Установлен Pretty URL
Спасибо! 

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*action=kitsitemap
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*topic
Disallow: /*board
Disallow: /*go.php
Disallow: /*prev_next
Sitemap: http://forums.dramteatr.by/sitemap.xml
Host: forums.dramteatr.by

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: YandexImages
Disallow: /

User-agent: msnbot-MM
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

И еще я не могу понять, почему в вебмастере Гугла пишет "/sitemap.xml, запрещенный файлом robots.txt"

[Yworld_garry]

Проверьте пожалуйста мой robots.txt , может не корректный. Установлен Pretty URL

Скорее всего все будет хорошо.

И еще я не могу понять, почему в вебмастере Гугла пишет "/sitemap.xml, запрещенный файлом robots.txt"

Проверить как добавляете или добавьте по позже, бывает там такое.
А может вот такое, сейчас выдает ваш сервер:
Service Temporarily Unavailable

[lyagushatnik]

Скорее всего все будет хорошо.

спасибо, что посмотрели.

Проверить как добавляете или добавьте по позже, бывает там такое.
А может вот такое, сейчас выдает ваш сервер:
Service Temporarily Unavailable

Может, Гугл еще не проиндексировал из-за этого?
Яндекс нормально принял.

Хостинг пока у меня на бесплатном сервере binhoster.com - аналог hostinger (если форум разовьется перейду на платный) и иногда кратковременно бывает такое. Кстати, может подскажите какую тему почитать, чтоб правильно настроить сервер?

[Yworld_garry]

Может, Гугл еще не проиндексировал из-за этого?

Может и так, но и яндекс может выкинуть. Бот три раза стукнится в такое и потом придет не скоро, а панеле напишет ошибка.

Кстати, может подскажите какую тему почитать, чтоб правильно настроить сервер?

На бесплатном и на платном хостинге это вам ни к чему, а свой сервер думаю вам не скоро понадобится.

В любом случаи если хотите развить проект, подумайте о переезде на платный хост, цены на многие просто смешные.

[lyagushatnik]

Ответил вам здесь: http://www.simplemachines.ru/index.php?topic=15806.0

[emel]

Всем здравствуйте! У меня такая беда беру адрес страницы форума и вставляю в браузер. Например  http://masterkvar.ru/forum/index.php/topic,164.0.html
А в результате поиска пишут  Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Вот мой robots.txt

User-agent: *
Allow:/forum/*sitemap
Allow:/forum/*arcade
Allow:/forum/*rss
Allow:/forum/*type=rss
Disallow:/forum/attachments/
Disallow:/forum/avatars/
Disallow:/forum/Packages/
Disallow:/forum/Smileys/
Disallow:/forum/Sources/
Disallow:/forum/Themes/
Disallow:/forum/*.msg
Disallow:/forum/*.new
Disallow:/forum/*sort
Disallow:/forum/*topicseen
Disallow:/forum/*wap
Disallow:/forum/*imode
Disallow:/forum/*action
Disallow:/forum/*prev_next
Disallow:/forum/*all
Disallow:/forum/*PHPSESSID
Disallow:/forum/*go.php
Host: masterkvar.ru/forum
     
User-agent: Slurp
Crawl-delay: 100

Подскажите где ошибка?

[Yworld_garry]

Всем здравствуйте! У меня такая беда беру адрес страницы форума и вставляю в браузер. Например  http://masterkvar.ru/forum/index.php/topic,164.0.html
А в результате поиска пишут  Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Кто пишет и зачем пишет, причем тут браузер и файл роботс?
Проверил в яндексе все разрешено, да и нет там запретов на топики

Подскажите где ошибка?

Во первых хост не пишут как у вас, надо так( не уточнял зеркало, просто правильный вариант)

Host: masterkvar.ru

И пока у вас там мало буковок на форуме, еще не поздно вырубить "дружественные урлы" в админке. Иначе проблем будет больше чем сможете разгрести, написано миллион раз не включать.

[maestrosite.ru]

Всем здравствуйте! У меня такая беда беру адрес страницы форума и вставляю в браузер. Например  http://masterkvar.ru/forum/index.php/topic,164.0.html
А в результате поиска пишут  Описание веб-страницы недоступно из-за ограничений в файле robots.txt

...
Disallow:/forum/*PHPSESSID
...

Подскажите где ошибка?

И снова грабли...

   <link rel="canonical" href="http://masterkvar.ru/forum/index.php/topic,164.0.html?PHPSESSID=8e64b35a3e1911fa02568c2269f0bcf0" />

http://smf2.maestrosite.ru/index.php/topic,10.0.html
http://www.simplemachines.ru/index.php?topic=14410.0