Первая версия robots.txt , для более полной индексации.

[Yworld_garry]

Disallow: /forum/admin/

Этого не надо, ни гостям ни ботам такую ссылку не видно, если я правильно понял вашу мысль.

[Life-BEK]

Друг-друга поняли. Спасибо.
Проверил роботс на вебмастере гугл, гугл все правильно понимает.

[plintus]

А у меня всё индексируется

[Фисташка]

А у меня всё индексируется

ждите бана от ПС

[plintus]

Это почему бана?

[Фисташка]

Это почему бана?

Вот ваши ссылки на одно и тоже из индекса, то есть спам

http://сайт.ru/gitara-obschij-razdel/kto-slyshit-raznicu-mezhdu-ladami-raznyh-proizvoditelej/
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=855
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=1095
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=1050
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=675
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=1065
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=915
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=900
http://сайт.ru/profile/AlleGaraj/?area=showposts;start=975

[plintus]

Фисташка посмотрел у себя в яндекс вэбмастере вот эти и многие другие яндекс как раз и исключил из индекса. Вот навязывается вопрос! Я соврал у меня роботс не совсем пустой:

User-agent: *
Sitemap: http://сайт.ru/index.php?action=sitemap;xml
Disallow: /go.php
Host: сайт.ru

Как бы его тогда привести к такому виду чтобы не было подобных исключений?

[Yworld_garry]

Как бы его тогда привести к такому виду чтобы не было подобных исключений?

Вот этот и по аналогии с ним, добавить что нужно открыть или закрыть. http://www.simplemachines.ru/index.php?topic=5089.msg116600#msg116600 , проверить в вебмастере.

PS
Если форум в профиле, почему нельзя писать прямые ссылки, а надо корявить урл написанием всяких сайт.ru и тд.

[plintus]

А это что такое объясните пожалуйста: User-agent: Slurp # дабы не нагибал форум
Crawl-delay: 100 ?

Это что мне все 7000 исключений добавить в роботс?

PS
не  знаю но я скрыл так как Фисташка тоже скрыла! И вы не правы в профиле указан урл. Но при переходе по нему попадаешь на редирект!

[Yworld_garry]

не  знаю но я скрыл так как Фисташка тоже скрыла! И вы не правы в профиле указан урл. Но при переходе по нему попадаешь на редирект!

И что, со страницы редиректа не попасть на форум ваш?

А это что такое объясните пожалуйста: User-agent: Slurp # дабы не нагибал форум
Crawl-delay: 100 ?

User-agent: Slurp — поисковый робот Yahoo! Может сканить хоть в 800 потоков, этим правилом мы даем ему ограничение. Дабы ваш хостер не плакал и не гнал на более дорогие тарифы, снижаем нагрузку.

Это что мне все 7000 исключений добавить в роботс?

Не надо там все уже добавлено, просто проверьте в вебмастере, все ли закрыто и все ли открыто из нужного вам.

[plintus]

Ну со страницы редиректа попасть можно, а вот (вы же сам оптимизатор) если страница редиректа запрещена к индексации как уменя, то и вес не утекает!
Вот как у меня сделано в роботс: Disallow: /go.php

[Yworld_garry]

Ну со страницы редиректа попасть можно, а вот (вы же сам оптимизатор) если страница редиректа запрещена к индексации как уменя, то и вес не утекает!
Вот как у меня сделано в роботс: Disallow: /go.php

Я имел ввиду тут на форуме, причем тут оптимизация и тд. Имелось ввиду удобство перехода на ваш сайт по ссылкам из поста, дабы не тыкать в профиле...
Disallow: /go.php, так у всех прописано, кто использует редирект))) Хотя я и не понял к чему в данном контексте вы привели строчку из файла.

[plintus]

Извиняюсь! Тогда буду нормально писать

[kak2z]

Сегодня решил посмотреть через Гугл.Вебмастер на страницу  своего форума с перечнем разделов- вот что получил

Просмотреть как Googlebot
Вот как поисковый робот Googlebot просканировал вашу страницу.
URL: http://kak2z.ru/index.php?action=forum
Дата: воскресенье, 26 августа 2012 г., 20:58:13 GMT-07:00
Тип робота Googlebot: Веб
Время загрузки (в миллисекундах):
Страницу не удалось просканировать, так как она заблокирована с помощью robots.txt. Подробную информацию см. в статье Справочного центра о robots.txt.

где что надо убрать в моем роботсе что бы открыть ее к индексированию?
http://kak2z.ru/robots.txt

и надо ли ее открывать?

[maestrosite.ru]

срабатывает правило:
Disallow: /*action

это правило не действует, так как строка (маска короче)
Allow: /*forum

если хотите разрешить, то:
Allow: /*action=forum

разрешать/не разрешать - разницы не много, так как у вас есть карта сайта.

[kak2z]

А Disallow: /*action надо убрать?
Потому что я добавил Allow: /*action=forum - а к индексации страница все равно запрещена..

Спасибо.

[maestrosite.ru]

Что-то где-то не приписали:

Результаты проверки
URL    Робот Google    Googlebot-Mobile
http://smf2.maestrosite.ru/index.php?action=forum    
Разрешено в строке 2: Allow: /*action=forum
   
Разрешено в строке 2: Allow: /*action=forum

[tridan]

Как прописывать папку в роботс если форум на субдомене?

[maestrosite.ru]

robots действует для хоста на котором он сам находится. То есть на оформление уровень "субдоменности" не имеет значения

[tridan]

Хорошо, это понятно. Спасибо!
Может подскажете что нужно прописать в роботс главного сайта на домене, что бы через нега агенты заходили на форум?

[maestrosite.ru]

robots действует для хоста на котором он сам находится.

То есть никакие настройки на других хостах влиять не будут. Даже настройки на основном для поддоменов.

Что бы роботы начали заходить, им надо адрес предоставить. Ссылку на индексируемом сайте разместить, либо в адурилку добавить

[tridan]

Тоесть если на главном форуме я првешу кнопку, а адресом перехода на форум-этого будет достаточно?

[tridan]

и еще такого характера вопрос, не могу установить sitemap. пишет
Вы не можете загрузить или установить новый пакет модификаций, так как директория Пакетов Модификаций защищена от записи (CHMOD)!
подскажите что и где нужно изменить

[Yworld_garry]

tridan Если у вас форум на поддомене, то роботс в корень поддомена. На каждом свой.
По карте сайта и правам доступа куча тем на форуме, прошу поискать и не в этой теме.

kak2z
У вас каша а не роботс стоит на сайте, еще раз проверьте логику, поднимите карту. Ниже основного блока прописаны директивы в одном блоке саразу для двух ботов...

[plintus]

Что-то у меня от вашего робота индекс упал в яндексе вдвое! Или так должно быть?

[GeorG]

Есть точная статистика?

[plintus]

Статистика из яндекс вэбмастера подойдёт?

[plintus]

Теперь и в гугл упал индекс в половину! Но что интересно, что уников не убавилось, а даже прибавилось? Может поисковики решили что это не помойка как была раньше?

[remingtone]

да. шлак выпал

[Sergey-N81]

Спасибо! очень познавательно, тоже robots.txt настраиваю. Пока жду апы от яндекса 

[Yworld_garry]

Спасибо! очень познавательно, тоже robots.txt настраиваю. Пока жду апы от яндекса

На том форуме что у вас в профиле, можно очень долго ждать качественный индекс с таким robots.txt.

Уберите пропуск строки после первого User-agent: *
Host: forum.chelnyelectro.ru  поднимите к основному блоку без пропуска строки
А это запишите так
User-agent: Slurp
Crawl-delay: 100

В этом
User-Agent: W3C-checklink      
Disallow: /

Смысла особого нет.

[Sergey-N81]

На том форуме что у вас в профиле, можно очень долго ждать качественный индекс с таким robots.txt.

Спасибо! если правильно понял, значит правильно поправил . А, что не так в robots.txt там и почему? долго ждать качественный индекс - честно этот сайт сам делаю и форум тоже, но как у многих с роботом бывают проблемы.

[Yworld_garry]

Да, все правильно поправили. Теперь все ок с ним.

[Sergey-N81]

Да, все правильно поправили. Теперь все ок с ним.

Уфф, сначала напугали , ну а потом успокоили - Спасибо! очень благодарен.

[Sergey-N81]

У меня возник вопрос к самому первому посту! так как первый пост добавлен 04 Октября 2008, 23:59:13, из этого возникает вопрос? Актуально изменение в файле Themes\index.template.php в теге <meta name="robots" content="noindex" /> на <meta name="robots" content="index, follow" /> 

[Yworld_garry]

У меня возник вопрос к самому первому посту! так как первый пост добавлен 04 Октября 2008, 23:59:13, из этого возникает вопрос? Актуально изменение в файле Themes\index.template.php в теге <meta name="robots" content="noindex" /> на <meta name="robots" content="index, follow" /> 

Если использовать robots.txt, то есть смысл сделать как в первом посте, так как в нем все дубли закрыты. Я вообще не сторонник использования тегов "noindex", подводят в самый не подходящий момент.
Но можно и оставить и тогда robots.txt будет как подстраховка от некорректного отрабатывания ПС "noindex".

[Sergey-N81]

Я вообще не сторонник использования тегов "noindex".

Я Вас полностью поддерживаю, единственное в чем возникает вопрос, это если я поправлю на <meta name="robots" content="index, follow" />, как поведет себя поисковик и что именно он выкинет на просмотр. И если не менять а оставить <meta name="robots" content="noindex" />, то и robots.txt получается не нужен, как при начальной установки форума. Я Вас правильно понял...

[Yworld_garry]

robots лишним не будет в любом случаи. Стоит еще поставить карту сайта.
Поисковик поведет себя адекватно и все что не должно быть в индексе, там и не будет. Выкинет всякий мусор, дубли ...

[Sergey-N81]

Стоит еще поставить карту сайта.

Подскажите где найти нормальный sitemap, я о нем думал, но вот только боюсь испортить свой форум поставив кривой мод, так как с форумом я начал только месяц назад примерно..., а на вашем форуме, только сегодня начал общаться и знакомиться с вашим форумом. Пока для меня трудно ориентироваться  здесь, так как я тут новичок ))

Я как бешеная белка из мультфильма ледниковый период  , столько всего вкусного, аж глаза разбегаются )), кстати Вам отдельный респект за оперативную помощь и за поддержку, обязательно плюс поставлю, когда полномочия появятся. я так думаю немогу поставить плюс из-за того что я новичек.

[Yworld_garry]

Про карту тут несколько тем и все вопросы вроде решены тем или иным способом.
В этой теме только про robots.txt.
Так что найдите темки и думаю удастся поставить адекватный мод, там ничего сложного и испортить вряд ли удастся, хотя как стараться )))

[Sergey-N81]

А для чего у Вас дубль http://www.simplemachines.ru/robots.txt в роботе Disallow: /*all. Это ошибочная строка  наверно?

[Yworld_garry]

А для чего у Вас дубль http://www.simplemachines.ru/robots.txt в роботе Disallow: /*all. Это ошибочная строка  наверно?

ну вот спалили секретный компонент успеха, тайна раскрыта, вам вышлю счет

[Sergey-N81]

Есть вопрос по удалению вот таких вот урлов: forum.site.ru/index.php?PHPSESSID=qup6g2p85o5qbusgkl34q1j847&board=151.0, я как новичок в этом деле, при создании форума сделал в самом начале две банальные ошибки, это:

• Не создал Robots.txt
• Создал много пустых категорий

В дальнейшем понял, свою глупую ошибку и решил немного подправить:

• Удалил практически все разделы с forum.site.ru/index.php?PHPSESSID=qup6g2p85o5qbusgkl34q1j847&board=151.0
• Залил Robots.txt в корень
• Поменял <meta name="robots" content="index, follow" />, как написано в начале этого поста
• Изменил на более красивые урлы, теперь выглядит вот так: http://forum.site.ru/index.php/board,151.0.html

Но есть непонятный вопрос?, из выше указанного урла выделенный (ораньжевым цветом), я в robots.txt добавил строку Disallow: /*PHPSESSID, но они не удаляются и по мере обхода робота Яши в вебмастере вываливает их на показ, какие меры можно применить для такого случая. Чтобы остались толь те, которые выделил (синим цветом)?

Вот адрес robots.txt http://forum.chelnyelectro.ru/robots.txt

[Yworld_garry]

Изменил на более красивые урлы, теперь выглядит вот так: http://forum.site.ru/index.php/board,151.0.html

Выключить и забыть где эта функция включается. Это не чпу, а хрень.

Но есть непонятный вопрос?, из выше указанного урла выделенный (ораньжевым цветом), я в robots.txt добавил строку Disallow: /*PHPSESSID, но они не удаляются и по мере обхода робота Яши в вебмастере вываливает их на показ, какие меры можно применить для такого случая.

Удалятся со временем.

Чтобы остались толь те, которые выделил (синим цветом)?

Не сделаете как я написал в первом пункте, появятся еще и другие дубли.

Нужно ЧПУ, так поставьте одни из модов, тут они широко описаны.

[maestrosite.ru]

Ох, уж эти грабли!

1. На site.ru - нет  форума forum.site.ru

2. Вот такой canonical для вашего раздела http://forum.chelnyelectro.ru/index.php/board,151.0.html показывается гостям и роботам:

Код Выделить Развернуть

<link rel="canonical" href="http://forum.chelnyelectro.ru/index.php?PHPSESSID=udn5td0gmfmd5gg0ssjbcsul06&amp;board=151.0" />

- подробнее о PHPSESSID http://www.simplemachines.ru/index.php?topic=14410.0
- исправить canonical http://forum.chelnyelectro.ru/index.php/board,151.0.html

[Sergey-N81]

Ох, уж эти грабли!

Ничего из прочитанного не понял , завтра буду перечитывать. Даа, наделают же конических проблем для чайников  . Вы мне попроще ответьте, Такой урл http://forum.chelnyelectro.ru/index.php/board,151.0.html допустим при стандартных настройках SMF, роботе и исправления meta name="robots" content="index, follow" />. Из-за чего спрашиваю, просто я не могу пока экспериментировать с модами, если форум рухнет, на восстановление нет времени (((, очень много работы просто  . Да кстати Yworld_garry, я отключил ту функцию с урлами, спасибо за совет!

[Yworld_garry]

Что то вы там в своем роботс намутили, нет время проверять. Если он у вас работает правильно и вы его проверили в панель вебмастреа. То тогда с форумом все в порядке.
Я пока не понял зачем вам понадобилось так извращаться в роботс, но если работает, то и пусть.

[maestrosite.ru]

Ничего из прочитанного не понял , завтра буду перечитывать. Даа, наделают же конических проблем для чайников  . Вы мне попроще ответьте, Такой урл http://forum.chelnyelectro.ru/index.php/board,151.0.html допустим при стандартных настройках SMF, роботе и исправления meta name="robots" content="index, follow" />. Из-за чего спрашиваю, просто я не могу пока экспериментировать с модами, если форум рухнет, на восстановление нет времени (((, очень много работы просто  . Да кстати Yworld_garry, я отключил ту функцию с урлами, спасибо за совет!

Теперь моя очередь: Ничего из прочитанного не понял

[Жека]

Старожилы, скажите пожалуйста, зачем на этом сайте в robots.txt две строчки:

Disallow: /*wap
Disallow: /*wap2

Ведь только первой достаточно... или как?


И вопрос №2
Allow: /*forum   ---- это на какие страницы, к примеру?

[Yworld_garry]

Ведь только первой достаточно... или как?

Достаточно, но криминала нет никакого.

Allow: /*forum   ---- это на какие страницы, к примеру?

Если стоит мод портала.