Первая версия robots.txt , для более полной индексации.

[dimalp777]

Спасибо большое

Сегодня же исправлю это.

[dimalp777]

И снова я

Проблема теперь такова что в поиске только 2 страницы.

Взял робот из первого сообщения, изменил всё под свой форум.

Прошёл месяц и робот был на сайте больше 6 раз, но результат не изменился. 

[Yworld_garry]

И снова я

Вы про форум из ваших прежних сообщений?
У вас на форуме 29 постов, что вы хотите получить от яндекса?

[dimalp777]

Страниц в поиске    2      
Внешних ссылок на страницы сайта   1462   
Дата последнего посещения сайта роботом   12.04.2014         
Загружено роботом   92   
Исключено роботом   90   

[Yworld_garry]

И к чему статистика без урлов и тд?

Я вам написал, что вы хотите получить от яндекса, имея форум с 29 сообщениями?


Исключено роботом   90  - наверно мусор всякий.

[dimalp777]

Я проверил исключенное там есть и совсем недавно добавленные новости

Вот пару примеров
http://www.forumwuna.ru/index.php/topic,57.msg57.html?PHPSESSID=4e5ca8dac9c993107561ed8b5ddd6ed1
http://www.forumwuna.ru/index.php/topic,40.msg40.html?PHPSESSID=3aa634093a413eea43d8da5508152d26

[Yworld_garry]

Это дубли

[kak2z]

Друзья, у нас тут с коллегой возник вопрос. С тем роботосом что предоставлен в первом посте не индексируются картинки на форуме. Происходит это изза этого правила:

Disallow: /*action

так как картинки выглядят таким образом

/index.php?action=dlattach;topic=89930.0;attach=414198;image

насколько я понимаю (да и яндекс так сказал) что бы разрешить индексацию картинок надо добавить такое правило

Allow: /*action=dlattach

а теперь вопрос)) даже несколько
1. Почему изначально стоит запрет на индексацию картинок?
2. Чем грозит если их открыть?
3. Как сделать автоматически генерируемый alt для картинок? (вроде где то мод такой видел но не нашел)
Спасибо.

[Yworld_garry]

1. Как правило картинки на форумах не уникальные и отсюда все вытекающие.
Да и закрыты аттачи в которых масса не нужного в поисковиках. Остальные картинки индексируются, плюс легко открыть любой нужный action, о чем тут масса всего написано.
2. Смотрим пункт первый)))
3. Что то такое есть.

И думаю что бы и если захочется все же открыть картинки во вложениях, то лучше не открывать все аттачи, так как там кроме картинок все что угодно может быть.

Allow: /*image # Не проверял, но что то такое.

[Serifa]

Раз пошла такая пьянка... У меня в одной из тем прикреплены как раз-таки уникальные картинки. Как их можно разрешить? Понимаю, что "масса всего написана", но если попроще?

[Серый Лис]

До поры, времени до этих роботсов не было никакого дела, буду разбираться

[kak2z]

Allow: /*image # Не проверял, но что то такое.

не срабатывает правило... как еще можно)?
Спасибо)))

[Серый Лис]

удалите плз.

[Yworld_garry]

не срабатывает правило... как еще можно)?

Allow: /*action*image# проверить надо на не картинках...картинки наверно будут открыты, да и в гугле проверить.

И пустую строку перед хостом и картой убрать стоит.

[Yworld_garry]

Подскажите плз. правильно или нет?

Вообще у вас включены "красивые урлы" или как то так называются, а писали тысячу раз, что это не ЧПу и включив их мусора не оберетесь.
Во вторых, зачем писать для каждого отдельно, хотя для медийных можно. Но все равно у вас там доступ закрыт и функция назначения групп срабатывает 1 раз из 100. Так что не увидят.
В третьих, без понятия правильно или нет, тут нужен весь роботс.
В четвертых, при таких урлах, все равно дубли будут.

[digger®]

http://zapchasti-kadett.in.ua/index.php/board,78.0.html

Надо в переводе FrendlyUrls перевести как "Кривые урлы" дабы намекало...

[Yworld_garry]

Надо в переводе FrendlyUrls перевести как "Кривые урлы"  дабы намекало...

Точно, использовать на свой страх и риск))))

[Серый Лис]

спс, буду учить.   упс... насилу прочитал все 22 страницы, капеец, пока в башке туман..
не пойму что такое ЧПу
Yworld_garry + за "Сизифов труд" и терпение

[Yworld_garry]

что такое ЧПу

человекопонятный урл

Вот например одна страница, первый вариант без ЧПУ, второй с ним.
/index.php?topic=5089
/pravila-foruma-net-besplodiju/setevoj-jetiket/

[Серый Лис]

человекопонятный урл

Вот например одна страница, первый вариант без ЧПУ, второй с ним.
/index.php?topic=5089
/pravila-foruma-net-besplodiju/setevoj-jetiket/

..о мэйн гот! )  Теперь ясна ирония Диггера..
Спс Гарри, наверно я отсталый человек или нужно еще пару лет пробыть на форуме чтобы понять некоторые аббревиатуры или многое перечитывать но новой

[Серый Лис]

Короче говоря, перечитав все 22 страницы, сделал так. Установил Sitemap, переписал вот такой robots.txt
Разрешений практически нет, так как интересного ничего нет. Сайт автонаправленности, пускай роботсы " шарятся" по каталогам запчастей, более ничего не нужно.
User-agent: *Allow: /*sitemap
Allow: /*rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*PHPSESSID
User-agent: Slurp
Crawl-delay: 100

Роботса закинул в /
Надеюсь верно..
   

[Yworld_garry]

Точнее вот так: ваш домен/robots.txt

Ниже файл из первого поста:

# Google, StackRambler, Yandex, Aport - Важные боты для нас.
# К сожалению их останавливает тег noindex.
# Если вы удалили noindex конструкцию то это должно пригодиться.
# Для всех ботов
User-agent: *
Allow: /*sitemap
Allow: /*arcade # если не стоит мод игр, удалить без пропуска строки
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало

User-agent: Slurp
Crawl-delay: 100

[Серый Лис]

Я конечно дико извиняюсь.. к сожалению упустил момент первого поста, а брал пример уже далее.
значит файл robots должен иметь такое имя? http://zapchasti-kadett.in.ua/index.php/robots.txt
Если вы удалили noindex конструкцию.  Таковую не удалял, даже не знаю где она. Редиректа у меня нет.
переписал, так верно?

User-agent: *Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас    не знаю что делать с этой строкой?
Host: http://zapchasti-kadett.in.ua/index.php
User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

http://zapchasti-kadett.in.ua/robots.txt

Disallow: /forum/*go.php #Установить мод и настроить, попробуйте тут перейти по вот этой внешней ссылке и увидите его работу. http://tv.yandex.ru/2/
Про ноиндекс не берите в голову, все ок будет.

Host: zapchasti-kadett.in.ua # если это главное зеркало

перед этим пропуск строки
User-agent: Slurp
Crawl-delay: 100

[Серый Лис]

Я вас понял.  zapchasti-kadett.in.ua/robots.txt
Да,  http://zapchasti-kadett.in.ua/index.php это главная страница сайта. Пропуск строки сделал, забыл сказать установил еще мод Optimus Brave.

[Серый Лис]

Вообщем закругляюсь, название роботса.. http-//zapchasti-kadett.in.ua/robots.txt
Содержание

User-agent: *Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Host: zapchasti-kadett.in.ua

User-agent: Slurp
Crawl-delay: 100

Вроде все. Вам Yworld_garry спасибо большое за помощь!
(и желаю вам отличного клева, побольше щук и окуней!) 

[Серый Лис]

Не вышло закруглиться, начал по новой. Отредактировал robots

User-agent: Slurp
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Yandex
Allow: /

User-agent: MSNBot
Allow: /

User-agent: *Allow: /*sitemap: http://zapchasti-kadett.in.ua/sitemap.xml
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Host: zapchasti-kadett.in.ua

User-agent: Slurp
Crawl-delay: 100

Как забросил робота  в корень сервера, тут же пришел Яша, следом прискакал Гугль.
MSN и Yahoo нет, мож отредактировал не верно..?

[vivilora]

Привет, подскажите пожалуйста, правильно ли я сделала роботс. Сам форум http://mother-and-baby.ru/forum/index.php Роботс всего сайта

User-agent: *
Disallow: /goto
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /category/*/*
Disallow: */comment
Disallow: /comments/
Disallow: */comments/
Disallow: /author/*
Disallow: /*?replytocom*
Disallow: /search/
Disallow: /scripts/
Disallow: /?s=

User-agent: Yandex
Disallow: /goto
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /category/*/*
Disallow: */comment
Disallow: /comments/
Disallow: */comments/
Disallow: /author/*
Disallow: /*?replytocom*
Disallow: /search/
Disallow: /scripts/
Disallow: /?s=

User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new
Host: mother-and-baby.ru

Sitemap: http://mother-and-baby.ru/sitemap.xml.gz
Sitemap: http://mother-and-baby.ru/sitemap.xml

[olgapet]

Глядя по результатам, видимо и некоторые другие боты, кроме яндекса и гугла, теперь тоже работают с разрешениями.
Но если честно на данный момент интересна индексация в яндексе, рамблере и гугле. Яху и некоторые другие пока не интересны, с ними поработаем позже. Возможно отдельными блоками.
Я изначально хотел сделать роботс без разрешений, только после нескольких тестов и нормальной работы опубликовал с ними.
Возможно с некоторыми изменениями в форуме можно будет сделать и только на запрете, хотя пока не вижу смысла.
В любом случаи это пока не готовый вариант и идей и планов пока полно, не хватает время.
А выше опубликованный файл был сделан исходя из манов опубликованных ПС, где поддержка данной директивы обозначена.

[Mavn]

Народ без обид. В первом сообщении данной темы содержится robots.txt который обкатан на многих форумах и проблем с ним никогда не возникало, но почему то у нас появляется очередной "Кулибин" с публикацией своего роботса и просьбой проверьте а все ли правильно.... Плин вам трудно что ли прочитать хотя бы несколько первых страниц темы? весь роботс для форума разобран по кускам и смысла городить огород нету... нет каждый создаст свой роботс в надежде а вдруг у меня лучше будет....... пипец

[Mакс-23]

Народ без обид.

может проще закрыть эту темы с указанием причин? как вариант. Ну и в первом посте Красным по белому, большими буквами дать понять чтоб не городили огород и тратили чужое время...

Лично я, скопировал первый пост об robots, - месяц по наблюдал... - всё норм, ну а потом просто забыл про него вообще!

[Серый Лис]

Уважаемый Mavn я уже не рад что вообще коснулся с созданием этих роботсов. Подогнал под себя стандартный  роботс разработанный  Yworld_garry  все пашет, проблем нет.
Прошу удалите мои темы  касающиеся роботсов к - чертовой матери!
Так будет лучше. И спокойнее.

[digger®]

весь роботс для форума разобран по кускам и смысла городить огород нету... нет каждый создаст свой роботс в надежде а вдруг у меня лучше будет....... пипец

А потом включить ЧПУ или Frendly Urls и весь огород превращается в тыкву

[Nasona]

Использую robot.txt с первой страницы. Все отлично работает в рамблере и яндексе, но в гугле каждый раз проскакивают следующие ссылки на сообщения

[digger®]

Использую robot.txt с первой страницы. Все отлично работает в рамблере и яндексе, но в гугле каждый раз проскакивают следующие ссылки на сообщения

Сцылки невидимки?

[Yarik]

Я вообще убрал роботс.тхт,начал бот Гугл АдСенс на него матерится.Поставил карту сайта.

[Yworld_garry]

Я вообще убрал роботс.тхт,начал бот Гугл АдСенс на него матерится.Поставил карту сайта.

Если прочитать тему эту, либо просто инет, то станет сразу видно, что для адсенса следует добавить блок в robots.txt

User-agent: Mediapartners-Google
ниже все разрешить или что то закрыть отдельно.

А карту сайта ставить следует сразу, опять же все описано тысячу раз)))

[Yarik]

Если прочитать тему эту, либо просто инет, то станет сразу видно, что для адсенса следует добавить блок в robots.txtUser-agent: Mediapartners-Googleниже все разрешить или что то закрыть отдельно.

У меня и с картой работает всё отлично.Когда появилась необходимость в индексации и приглашении на форум  поисковиков был установлен роботс и карта сайта.Впоследствии осталась одна карта.

Ставить карту сразу и приглашать ботов на чистый форум такой надобности я не увидел.Когда уже форум был более-менее наполнен,тогда и были приглашены боты.

[Yworld_garry]

Я наверно чего то не понял из написанного вами, но файл robots.txt никого никуда не приглашает, он регулирует доступ для ботов и отвечает за то что будет в индексе поисковиков. Убирает мусор и тд и тп.
Карта сайта не делает ничего из этого и никаким образом не поможет в данном вопросе, она для других целей.
А если у вас стоит адсенс, надо было просто добавить в роботс пару строчек и все, выше приводил. Чем удалив роботс, потом кучи мусора в выдаче иметь.

[Yarik]

Я наверно тоже что-то недопонял.А что подразумевается под словом мусор?

[Yworld_garry]

А что подразумевается под словом мусор?

Это когда в индекс поисковиков попадают дубли страниц, технические страницы, всякие сгенерированные для удобства страницы, но являющиеся дублями и тд и тп.
И все это понижает позиции сайта, снижает его авторитет, загоняет под фильтры и куча еще всяких "приятных вещей"

[Yarik]

Разумно,согласен.Ленивый я,да засяду сейчас пожалуй и ручками поправлю роботс.Спасибо за помощь,поддержка движка у вас хорошая.Не чета phpBB.

[Hanny]

Добрый день. В первом посте указана необходимость подготовки форума:
Подготавливаем форум к его использованию.
В файле Themes\index.template.php
Убираем

Код: [Выделить]
1.<meta name="robots" content="noindex" />


А лучше заменяем на

Код: [Выделить]
1.<meta name="robots" content="index, follow" />

Но не могу найти указанный файл, в указанной папке он отсутствует, форум 2.0.7. Заранее благодарен.

[Yworld_garry]

Добрый день. В первом посте указана необходимость подготовки форума:

Этого делать больше не нужно, было актуально в свое время, точнее не обязательно. Пожалуй днем отредактирую пост первый, а то ниже где то написано...

[Hanny]

Этого делать больше не нужно, было актуально в свое время, точнее не обязательно. Пожалуй днем отредактирую пост первый, а то ниже где то написано...

Спасибо.

[AniGoch]

Не на столько хорошо знаю англ, что бы адекватно понять столько текста =\
Из статьи понял лишь то, что надо в ручную устанавливать мод и переписывать код.
Верно?

[Yworld_garry]

Верно?

Какой английский или где?
Какой мод ставить?
Какой код переписывать?

[Mакс-23]

Ребята, может я что-то не до-понимаю... да и особо не разбираюсь в чем-то...

вообщем  Яндекс исключил 2178   страниц.  т.е. то что запрещено в файле robots.txt
robots.txt брал с первого поста... - 2178 это нормально?
на втором скрине (по больше который) показаны ссылки которые робот исключил...

[Yworld_garry]

2178 это нормально?

Нормально, это дубли и не нужное в индексе.
Не нормально, когда добавили модификацию, которая имеет свои страницы и не добали в роботс разрешения для нее. Допустим галерею.. и тд.
Опять же если все правильно в самом роботсе у вас.

[supmener]

Посмотрите пожалуйста, должно ли при таком содержимом robots.txt индексироваться содержимое главной страницы и всех других страниц форума и страниц и документов во вложенных папках сайта?

http://vedomo.ru/robots.txt