Первая версия robots.txt , для более полной индексации.

Yworld_garry · 20 июня 2009, 14:06:40

Так сказать в процессе работы над ним было, но вот вариант из аттача первого поста, там всё не нужное закрыто и всё нужное оставлено. Работает великолепно и легко регулируется( если нужен определённый экшен просто добавляешь разрешение, например галерею добавить).
User-agent: *
Allow: /__forum/*sitemap
Allow: /__forum/*arcade
Allow: /__forum/*rss
Disallow: /__forum/attachments/
Disallow: /__forum/avatars/
Disallow: /__forum/Packages/
Disallow: /__forum/Smileys/
Disallow: /__forum/Sources/
Disallow: /__forum/Themes/
Disallow: /__forum/Games/
Disallow: /__forum/*.msg
Disallow: /__forum/*.new
Disallow: /__forum/*sort
Disallow: /__forum/*topicseen
Disallow: /__forum/*wap
Disallow: /__forum/*imode
Disallow: /__forum/*action

User-agent: Slurp
Crawl-delay: 100

#__ надо убрать

Nemo31 · 21 июня 2009, 14:00:45

Взял робот с первой страницы недели полторы назад и поместил в корень своего сайта. Зашел сегодня на гугл и увидел 400 файлов запрешенных к индексации роботом. Среди них личка, страницы для печати, но и ссылки msg, при переходе по которым, открываюся соответствующие сообщения. Не одной ссылки на форум в индексе не появилось. Вопрос: точно ли не нужно индексировать ссылки msg?

BIOHAZARD · 21 июня 2009, 16:06:23

точно

Nemo31 · 21 июня 2009, 22:55:41

Спасибо, успокоили!

Vsh · 10 июля 2009, 07:08:48

А что делать, если стоит мод Pretty URLs ?
Ссылки из robots.txt же другие

Vsh · 10 июля 2009, 09:13:29

А это надо закрывать?
Disallow: /index.php?action=help
Disallow: /index.php?action=calendar
Disallow: /index.php?action=login
Disallow: /index.php?action=register
Disallow: /index.php?action=stats
Disallow: /index.php?action=profile;
Disallow: /index.php?action=profile
Disallow: /index.php?action=search;
Disallow: /index.php?action=search
Disallow: /index.php?action=search2;
Disallow: /index.php?action=search2
Disallow: /index.php?action=mlist;
Disallow: /index.php?action=admin;
Disallow: /index.php?action=admin
Disallow: /index.php?action=pm;
Disallow: /index.php?action=pm
Disallow: /index.php?action=mlist
Disallow: /index.php?action=reminder
Disallow: /index.php?action=unread
Disallow: /index.php?struct=on&data=on&action=dumpdb

BIOHAZARD · 10 июля 2009, 09:51:52

да
запись

Код Выделить

Disallow: /forum/*action
закрывает все эти строки, кроме последней

Vsh · 12 июля 2009, 15:33:20

Цитата: Vsh от 10 июля 2009, 07:08:48
А что делать, если стоит мод Pretty URLs ?
Ссылки из robots.txt же другие

А что насчёт этого?

Palich · 12 июля 2009, 15:39:53

Цитата: Vsh от 12 июля 2009, 15:33:20
А что насчёт этого?

а что мешает вручную написать,убрав,насколько я помню,"index.php?action=?" из строк?

Yworld_garry · 12 июля 2009, 16:02:23

Цитата: Vsh от 12 июля 2009, 15:33:20
А что делать, если стоит мод Pretty URLs ?
Ссылки из robots.txt же другие
А что насчёт этого?

Какие там ссылки, дайте посмотреть.

BIOHAZARD · 12 июля 2009, 16:50:29

в любом случае методика одна

регаетесь у гугла и яндекса как вэбмастер
мониторите, чего он на ваших сайтах понаходил
правите роботс, чтоб больше он ЭТОГО не находил

главное правило - любое содержимое индексируется только раз!

oldcopy · 16 июля 2009, 23:13:59

Помогите победить бот Рамблера, который упорно лазит туда, куда его не просят. На сайте Рамблера нашел вот что: http://help.rambler.ru/article.html?s=221&id=327 Получается что подобные инструкции -Disallow: /*.msg - он просто проигнорирует. Кроме того у меня закрыты от ботов ссылки вида /catch.php?p=2 инструкцией Disallow: /catch.php Тупой бот Рамблера продолжает по ним лазить. Что делать?

Yworld_garry · 17 июля 2009, 00:50:23

К сожалению правила бота рамы не изменились со времён его введения. К счастью сами механизмы ПС рамблер могут определять что нужно в индексе, а что нет. Но лазить он будет везде, так как закрыть можно только директорию или конкретный урл либо указать общее начало для ссылок.
На данный момент от него можно закрыть тегом с которым мы боремся <meta name="Robots" content="NOINDEX, NOFOLLOW">( они себя позиционируют как вежливых и типо прислушиваются к тегу. Но не всегда конечно) что к сожалению не нравится яндексу в SMF

User-agent: StackRambler
Disallow: /catch # закроет все страницы начинающиеся на catch для рамы
Disallow: /msg # ради эксперимента можно попробовать, так как там что то сказано о содержащемся в урле.

oldcopy · 17 июля 2009, 08:41:23

Спасибо, попробую. Еще вопрос. Очень безобразно ведут себя боты мелких поисковиков: Twiceler, WebAlta Crawler и т.п. Robots.txt такое впечатление, что игнорируют полностью. Есть смысл давать им доступ к сайту? Реально переходов с них в общей статистике нет, может забанить их и жить спокойно?

Простой · 17 июля 2009, 08:52:10

У меня другая проблема, Яндекс turbospider на генерировал больше гигабайта трафика. Это много?

oldcopy · 17 июля 2009, 09:20:15

За какой срок? Какой обьем сайта, вообще сколько трафика без Яши в среднем получается?

Посмотрел у себя. С начала месяца трафика (без ботов) - 6.63 ГБ, Яша - 901.76 МБ

Простой · 17 июля 2009, 09:25:00

Один мой сайт стоит на тарифе у которого лимит трафика - 20 гб в месяц. Последнее время счёт за дополнительный траф приходить стал в начале месяца уже

По статистике ничего особенного, просто много народу заходит, но больше всего ресурсов сожрал Яша, вот и спрашивается, нормально ли это.

***

Апдейт:

А ну значит ок и даже ещё мало трафа.

Gnostis · 17 июля 2009, 09:36:36

у меня за этот месяц уже 20 Гб трафа... правда куда уходит понять не могу =)

BIOHAZARD · 17 июля 2009, 10:34:26

не нравится, что часто боты гуляют - сделайте им ограничение по частоте захода на сайт
как? читайте про роботс.тхт

Vsh · 21 июля 2009, 14:39:22

Всё понял....торможу

Serifa · 21 июля 2009, 15:28:42

Еще раз повторите: если раздел закрыт для гостей вообще, боты туда точно не сунутся?

Yworld_garry · 21 июля 2009, 16:03:14

Не сунутся.

Nemo31 · 22 июля 2009, 14:53:23

Использую robot.txt с первой страницы. Все отлично работает в рамблере и яндексе, но в гугле каждый раз проскакивают следующие ссылки на сообщения

удаляю их вручную. Может можно как-то гугла укротить?

BIOHAZARD · 22 июля 2009, 14:57:51

добавить
Disallow: *action=bookmark*

Nemo31 · 22 июля 2009, 15:14:37

В роботе стоит

Disallow: /__forum/*action

разве это не перекрывает

Disallow: *action=bookmark*

BIOHAZARD · 22 июля 2009, 18:03:39

перекрывает
возможно, страница была проиндексирована до появления роботс, тогда её нужно удалить в панели вебмастера, либо просто подождать апа выдачи и она сама отвалится

Vsh · 10 августа 2009, 21:58:01

Disallow: /__forum/*printpage

А можно дополнительно и printы закрыть? Вроде в самом начали выяснилось, что они не нужны. Или всё таки оставить?

Солярис · 10 августа 2009, 22:29:14

Цитата: Vsh от 10 августа 2009, 21:58:01
Disallow: /__forum/*printpage

А можно дополнительно и printы закрыть? Вроде в самом начали выяснилось, что они не нужны. Или всё таки оставить?

Лучше закройте сразу от индексации.

Yworld_garry · 10 августа 2009, 23:05:46

Vsh, в файле который мы здесь обсуждаем и который находится в аттаче принт закрыт. Внимательнее читайте, закрыты все action.

Vsh · 11 августа 2009, 16:51:18

А я сразу и не заметил, что перед printpage идёт action в ссылках(?action=printpage), прошу извинения!

Vsh · 24 августа 2009, 23:45:34

У меня установлен Pretty URLs.
Адрес календаря на моём форуме такого плана: http://www. ... .ru/calendar/
А у вас на форуме: http://www.simplemachines.ru/index.php?action=calendar

А теперь вопрос, если в роботс.тхт закрыты экшены(Disallow: /*action), то надо мне ещё и календарь закрывать(Disallow: /calendar/) ?

Yworld_garry · 25 августа 2009, 00:08:34

Vsh,Да надо. Исходите из тех урлов, что выдает этот мод.

Солярис · 23 сентября 2009, 12:51:40

Всем доброго времени суток!

Заметил следующее. Яндекс, несмотря на файл роботс.тхт и указанное в нем запрещение все равно продолжает индексировать версию imode.

В файле указан следующий запрет: Disallow: /*imode
Однако Яндекс его игнорирует не понятно по какой причине.

Может следует прописать запрет на индексацию следующим образом:

Код Выделить

Disallow: /index.php?*;imode
Будет ли такой код правильным.

Заранее спасибо.

BIOHAZARD · 23 сентября 2009, 13:01:39

зайдите в панель вэбмастера яндекс и посмотрите, каким именно правилом эти ссылки разрешаются

Солярис · 23 сентября 2009, 14:03:32

Подходит вот это:

Код Выделить

User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx'
                          # и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'

Но почему же тогда не работает вариант с *imode?
До конца не понятно также будет ли работать вариант Disallow: /index.php?*;imode

Yworld_garry · 23 сентября 2009, 21:53:09

Как написал выше BIOHAZARD, проверьте в панели яндекса. Там есть возможность проверить свой роботос. Вставляете в нужное поле проверяемый урл и видите что по этому поводу думает бот яндекса.
А так как у вас на сайте используется уж очень запутанный и громоздкий роботс, возможно что и наложение разрешений/запретов.

Солярис · 24 сентября 2009, 08:45:20

А в чем он запутанный? Я не вижу ничего в нем запутанного.

При этом никакие ошибки в вебмастере по поводу правил в роботс.тхт не высвечиваются (то есть их нет).
Но почему тогда версия imode индексируется я не пойму?!

Получается все дело в операторе Allow: /

Yworld_garry · 24 сентября 2009, 11:25:06

Получается всё дело в нежелании проверить откуда ноги растут.
Вот это из панели яндекса
http://www.yuristyonline.ru/index.php?topic=929.0;imode. запрещен правилом /*imode*
То есть для ботов закрыто.
Вот это из выдачи яндекса и таких не одна.
Соседи - Форумы Череповца
Тут юридическое обоснование вопроса "Как приструнить соседей, которые создают шум в дневное время": http://www.yuristyonline.ru/index.php?topic=929.0;imode.

Всё закрыто, но проиндексины ссылки со сторонних ресурсов и так как роботс это указание для ботов, а не действительный запрет. Делайте выводы.

А громоздкий я написал, по причине нелюбви моей к файлам роботс длинною больше 100 строк с не понятными для меня дублями правил для разных ботов. Но это моё мнение.

Солярис · 24 сентября 2009, 13:01:32

ЦитироватьПолучается всё дело в нежелании проверить откуда ноги растут.

Я в Вебмастере Яндекса с самого начало все и смотрел. Так что это Вы не в тему абсолютно написали.

Я не зря указал выше про оператор Allow: / Но Вы на эту мою реплику никоим образом не обратили внимание.

Ибо только когда я его удалил (сегодня) из файла роботс.тхт, только тогда и стало работать правило Disallow: /*imode

Именно поэтому при Вашей проверки соответствующего адреса было указано, что он запрещен к индексации, поскольку начало действовать соответствующее правило, которое ранее не работало из-за наличия оператора Allow: / .

Так что внимательней нужно быть, когда хотите написать про якобоы чье-либо нежелание что-то там проверить!

Yworld_garry · 24 сентября 2009, 13:19:51

Вы не привели ваш роботс и где и какие правила стоят.
Просто указали на Allow: / и догадываться что и как у вас прописано в файле очень сложно и как я писал он громоздкий, требует действительно нормальной проверки. Уперается во время.
А вы уверены сейчас, что все правила теперь корректны и будут восприниматься ботами как надо?
Правила пишутся не просто так, если конечно составлялся файл изначально правильно. Или добавлялось в файл не правильно, вариантов много.
Так как я ни чего не понял, где и какое правило было изменено или убрано, для чего оно было изначально прописано.
В любом случаи, если интересуют вопросы по вашему файлу роботс, создайте отдельную тему и уже там можно будет более подробно обсудить и посмотреть. Возможно это не единственный косяк вашего файла.
В этом топике по файлу из заглавного поста. Не стоит путать людей сторинними обсуждениями.

Солярис · 24 сентября 2009, 13:46:45

Цитата: Yworld_garry от 24 сентября 2009, 13:19:51
Вы не привели ваш роботс и где и какие правила стоят.

Приводил: http://www.simplemachines.ru/index.php/topic,5089.msg54780.html#msg54780

Yworld_garry · 24 сентября 2009, 14:10:57

Я не вижу в том посте ни чего, на что можно опереться при ответе.
Тем более в обсуждаемом файле этой ветки нет такой строчки.
И догадаться, как составлен ваш роботс нет возможности.
Как писал неоднократно существуют правила написания файла и не всегда очевидное решение правильно. Тем более применительно к вашему, который имеет не простую структуру и скорее всего, требует доработки.
На этом обсуждение не по теме закрываю, дальнейшее в другой топик.

netoya · 25 сентября 2009, 10:53:18

Yworld_garry, поставил мод http://custom.simplemachines.org/mods/index.php?mod=579
Как я понимаю вообще теги должны очень хорошо на SEO (я так слышал) но получается, что ссылки на облако index.php?action=tags и на сами теги index.php?action=tags;tagid=29 не индексируются, панель яндекса проверки робота выдает: запрещен правилом /forum/*action*
Нужно ли их в индекс или нет? если нужно, то как быть в данном случае?
Спасибо.

Yworld_garry · 25 сентября 2009, 12:08:07

Раз поставили значит нужно добавить разрешение ф роботс.
Allow: /__forum/*tags
На самом деле плюсов для форума будет не много. Но хуже точно не будет. Если этот мод корректно работает.

Подправил разрешение.

netoya · 25 сентября 2009, 12:34:49

Наверно ты хотел сказать
Allow: /forum/*tags* а не action
буду наблюдать. Спасибо.

jericho13 · 29 сентября 2009, 12:13:52

всем спасибо, особенно топикстартеру, многое стало более понятным

Макар · 02 октября 2009, 22:43:48

Подскажите чего не нравится Гуглю ?

Код Выделить

http://zavgar.info/Smileys/koloboks	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/Smileys/koloboks/	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/Themes/default/Highslide/	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/Themes/default/images/	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/Themes/default/images/post/	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/Themes/default/images/sp	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/Themes/default/images/sp/	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/forum/13?sort=asc&a...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2	URL, запрещенный файлом robots.txt	24.09.2009
http://zavgar.info/forum/13?sort=asc&a...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82	URL, запрещенный файлом robots.txt	29.09.2009
http://zavgar.info/forum/13?sort=asc&a...B0+%D1%84%D0%BE%D1%80%D1%83%D0%BC%D0%B0	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/forum/13?sort=desc&...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/forum/13?sort=desc&...B0+%D1%84%D0%BE%D1%80%D1%83%D0%BC%D0%B0	URL, запрещенный файлом robots.txt	29.09.2009
http://zavgar.info/forum/14?sort=asc&a...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/forum/14?sort=desc&...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/forum/14?sort=desc&...B8%D0%B9+%D0%BE%D1%82%D0%B2%D0%B5%D1%82	URL, запрещенный файлом robots.txt	21.09.2009
http://zavgar.info/forum/7?sort=asc&am...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2	URL, запрещенный файлом robots.txt	21.09.2009
http://zavgar.info/forum/7?sort=desc&a...er=%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/forum/8?sort=asc&am...%82%D0%BA%D0%BB%D0%B8%D0%BA%D0%BE%D0%B2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php/topic,127.msg127.html	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php/topic,300.msg1079.html	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php/topic,352.msg1472.html	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/index.php/topic,415.new.html	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php/topic,422.msg2162.html	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?action=dlattach;topic=313.0;attach=4	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=post;topic=364.0;num_replies=8	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?action=post;topic=364.0;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?action=post;topic=382.0	URL, запрещенный файлом robots.txt	19.09.2009
http://zavgar.info/index.php?action=post;topic=418.1	URL, запрещенный файлом robots.txt	24.09.2009
http://zavgar.info/index.php?action=post;topic=418.2	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=post;topic=421.3	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=post;topic=423.0	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=post;topic=425.0	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=post;topic=426.0	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=profile;u=10	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/index.php?action=profile;u=22	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/index.php?action=profile;u=3	URL, запрещенный файлом robots.txt	18.09.2009
http://zavgar.info/index.php?action=profile;u=37	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/index.php?action=profile;u=41	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?action=profile;u=7	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/index.php?action=profile;u=9	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?action=profile;u=92	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/index.php?action=profile;u=95	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=profile;u=96	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?action=register	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?action=search	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?action=unread	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?board=13.0;sort=last_post	URL, запрещенный файлом robots.txt	16.09.2009
http://zavgar.info/index.php?board=13.0;sort=replies	URL, запрещенный файлом robots.txt	16.09.2009
http://zavgar.info/index.php?board=13.0;sort=starter	URL, запрещенный файлом robots.txt	16.09.2009
http://zavgar.info/index.php?board=13.0;sort=subject	URL, запрещенный файлом robots.txt	16.09.2009
http://zavgar.info/index.php?board=13.0;sort=views	URL, запрещенный файлом robots.txt	16.09.2009
http://zavgar.info/index.php?board=15.0;sort=last_post;desc	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/index.php?board=24.0;sort=last_post	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?board=24.0;sort=replies	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?board=24.0;sort=starter	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?board=24.0;sort=subject	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?board=24.0;sort=views	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=100.0;wap2	URL, запрещенный файлом robots.txt	29.09.2009
http://zavgar.info/index.php?topic=136.msg1685	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?topic=141.msg1791	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/index.php?topic=300.0;wap2	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/index.php?topic=304.45;wap2	URL, запрещенный файлом robots.txt	16.09.2009
http://zavgar.info/index.php?topic=304.msg1179	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/index.php?topic=304.msg1183	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/index.php?topic=304.msg1533	URL, запрещенный файлом robots.txt	22.09.2009
http://zavgar.info/index.php?topic=309.10;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=309.25;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=309.30;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=309.5;wap2	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/index.php?topic=315.0;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?topic=320.10;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=320.20;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=328.10;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?topic=328.25;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=337.0;wap2	URL, запрещенный файлом robots.txt	21.09.2009
http://zavgar.info/index.php?topic=338.10;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=338.30;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=340.10;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?topic=341.10;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?topic=347.0;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?topic=348.0;wap2	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/index.php?topic=359.msg1669	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=401.msg1998	URL, запрещенный файлом robots.txt	18.09.2009
http://zavgar.info/index.php?topic=63.0;wap2	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?topic=91.25;wap2	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?topic=99.15;wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/index.php?topic=99.30;wap2	URL, запрещенный файлом robots.txt	27.09.2009
http://zavgar.info/index.php?wap2	URL, запрещенный файлом robots.txt	23.09.2009
http://zavgar.info/new/index.php?action=profile;u=4	URL, запрещенный файлом robots.txt	25.09.2009
http://zavgar.info/new/index.php?action=recent	URL, запрещенный файлом robots.txt	21.09.2009
http://zavgar.info/new/index.php?action=stats	URL, запрещенный файлом robots.txt	26.09.2009
http://zavgar.info/user/login?destinat...25D0%25B8%25D0%25BA%25D0%25BE%25D0%25B2	URL, запрещенный файлом robots.txt	28.09.2009
http://zavgar.info/user/login?destinat...25D0%25B7%25D0%25B4%25D0%25B0%25D0%25BD	URL, запрещенный файлом robots.txt	29.09.2009

или у Яши

Код Выделить

http://www.zavgar.info/index.php/topic,433.msg2253.html#new 

Используемые секцииСтрока
1-2: 	User-agent: * 
	Allow: /*sitemap 

4-19: 	Allow: /*rss 
	Disallow: /attachments/ 
	...
	Disallow: /*wap2 



Результаты проверки URLURL	Pезультат
http://www.zavgar.info/index.php/topic,433.msg2253.html#new 	запрещен правилом /*.msg*

и ошибки у Яши

Формат документа не поддерживается
/index.php?type=rss;action=.xml

Документ содержит мета-тег noindex 840 ошибок

Код Выделить

/index.php?board=17.20		 	 
	29.09.2009	29.09.2009
/index.php?board=21.20		 	 
	28.09.2009	28.09.2009
/index.php?board=4.0		 	 
	29.09.2009	29.09.2009
/index.php?board=7.20		 	 
	29.09.2009	29.09.2009
/index.php?board=9.20

http://www.zavgar.info/index.php?topic=152.0
http://www.zavgar.info/index.php?topic=112.0
http://www.zavgar.info/index.php?topic=157.0

/index.php?topic=96.0;prev_next=prev		 	 
	25.09.2009	27.09.2009
/index.php?topic=99.0;prev_next=next		 	 
	18.09.2009	24.09.2009
/index.php?topic=99.0;prev_next=prev		 	 
	17.09.2009	23.09.2009

Yworld_garry · 02 октября 2009, 23:17:46

1 Всё нормально
2 Всё нормально ( проверяйте закрытые урлы роботсом, на предмет "дружественных урлов", при написании этого файла robots.txt я их не учитывал. Почему написано в начальных постах топика. А у вас по моему они включены.)
Это не ошибки, а указано что запрещено в роботсе и исчезнет со временем.

3 В начало топика.

Mavn · 02 октября 2009, 23:29:23

Кстати Yworld_garry, есть ссылки такие /index.php/topic,****.****/all.html на сколько я понимаю они не закрыты файликом, а по сути стоило бы

Макар · 02 октября 2009, 23:40:19

Спасибо за анализ. А то я немного запутался, пойду перечитаю эту тему еще раз. Просто, три месяца назад , движек был друпал, я с него съехал, сейчас идет переиндексация ссылок, и вот что заметил, на друпале выдача от гугля была больше чем от яши. А сейчас наоборот, с десятикратным перевесом . Зашел в панель гугля и увидел . ... А с чем связан такой перекос и смена лидера я х.з.