SMF и Google

[GunMan]

Здравствуйте, подскажите пожалуйста в чем может быть проблема. Скормил гуглу карту сайта с кучей ссылок, но судя по всему перестарался с блокировками в robots.txt и все ссылки получились заблокированными... что тут лишнего в роботсе?

User-agent: *
Allow: /*action=forum
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*board
Allow: /*topic
Sitemap: http://www.gunforum.com.ua/index.php?action=sitemap;xml
Disallow: /attachments/
Disallow: /avatars/
Disallow: /banners/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /index.php?*.msg
Disallow: /index.php/*.msg
Disallow: /index.php?*.new
Disallow: /index.php/*.new
Disallow: /index.php?PHPSESSID
Disallow: /index.php?action=activate
Disallow: /index.php?action=admin
Disallow: /index.php?action=calendar
Disallow: /index.php?action=emailuser
Disallow: /index.php?action=findmember
Disallow: /index.php?action=help
Disallow: /index.php?action=helpadmin
Disallow: /index.php?action=login
Disallow: /index.php?action=logout
Disallow: /index.php?action=mlist
Disallow: /index.php?action=modifykarma
Disallow: /index.php?action=post
Disallow: /index.php?action=pm
Disallow: /index.php?action=printpage
Disallow: /index.php?action=profile
Disallow: /index.php?action=recent
Disallow: /index.php?action=register
Disallow: /index.php?action=reminder
Disallow: /index.php?action=search
Disallow: /index.php?action=shop
Disallow: /index.php?action=unread
Disallow: /index.php?action=unreadreplies
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=who
Disallow: /index.php?struct=on&data=on&action=dumpdb
Disallow: /index.php?action=viewkarma


User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-agent: Baiduspider
Disallow: /

User-Agent: W3C-checklink
Disallow: /



В гугловский инструментах веб-мастера анализ роботса пишет так:

Анализ файла robots.txt
Значение   Результат
Строка 8: Sitemap: http://www.gunforum.com.ua/index.php?action=sitemap;xml   Обнаружены данные о действительном файле Sitemap
Строка 50: Crawl-delay: 100  Правило, которое не учитывается Googlebot

[Mavn]

http://www.simplemachines.ru/index.php?topic=5089.0
читайте до просветления там все расписано изобретать велосипед нет смысла

[GunMan]

Сделал в соответствии с указанной Вами теме, в итоге вот что имеем
http://www.gunforum.com.ua/robots.txt       Заблокированных   2 227

Строка 1: User-agent: *   Синтаксис не распознается
Строка 2: Allow: /*sitemap   User-agent не указан
Строка 3: Allow: /*rss   User-agent не указан
Строка 4: Allow: /*type=rss   User-agent не указан
Строка 5: Disallow: /attachments/   User-agent не указан
Строка 6: Disallow: /avatars/   User-agent не указан
Строка 7: Disallow: /Packages/   User-agent не указан
Строка 8: Disallow: /Smileys/   User-agent не указан
Строка 9: Disallow: /Sources/   User-agent не указан
Строка 10: Disallow: /Themes/   User-agent не указан
Строка 11: Disallow: /*.msg   User-agent не указан
Строка 12: Disallow: /*.new   User-agent не указан
Строка 13: Disallow: /*sort   User-agent не указан
Строка 14: Disallow: /*topicseen   User-agent не указан
Строка 15: Disallow: /*wap   User-agent не указан
Строка 16: Disallow: /*imode   User-agent не указан
Строка 17: Disallow: /*action   User-agent не указан
Строка 18: Disallow: /*prev_next   User-agent не указан
Строка 19: Disallow: /*all   User-agent не указан
Строка 20: Disallow: /*PHPSESSID   User-agent не указан
Строка 21: Disallow: /*go.php   User-agent не указан
Строка 25: Crawl-delay: 100   Правило, которое не учитывается Googlebot

сам robots.txt

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Host: www.gunforum.com.ua

User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

По ссылке у вас правильный файл.
А вот что вы привели с ошибками, какой то бред.  где так проверяете?

Все у вас с ним нормально. Проверьте в панеле яндекса или гугла.

[maestrosite.ru]

грабли-грабли-грабли....

Disallow: /*PHPSESSID

http://www.simplemachines.ru/index.php?topic=14410.0

и как бы открытым текстом намёк

Строка 1: User-agent: *   Синтаксис не распознается

[GunMan]

И чем ему синтаксис не нравится то?

Разобрался... Пересохранил блокнотом++ в формате UTF без BOM

[GunMan]

Так я и смотрю в панели гугла
Состояние-Заблокированные URL
http://www.gunforum.com.ua/robots.txt                  (Заблокированных)2 941                  02.11.2012   200 (Успешно)

роботс:

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: www.gunforum.com.ua

User-agent: Slurp
Crawl-delay: 100


Понятия не имею какая часть файла блокирует столько ссылок, есть идеи?

[GeorG]

А сами ссылки заблокированные, как выглядят?

[GunMan]

А сами ссылки заблокированные, как выглядят?

А где это увидеть можно?

[Фисташка]

Понятия не имею какая часть файла блокирует столько ссылок, есть идеи?

Эта:

Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all

и это (в шаблоне)

<link rel="canonical" href='xxxxx.html' />

[GunMan]

Эта:
и это (в шаблоне)

и это (в шаблоне)
Цитировать (выделенное)
<link rel="canonical" href='xxxxx.html' />

Вот спасибо.
Но я специально мод ставил чтобы эта строчка добавлялась, или лишняя она именно в шаблоне только? Это в каком файле?

[Yworld_garry]

Да не лишнее это все, просто вам показали где и как закрыты дубли и закрыты правильно и думаю правильно что их выкинуло в запрет.
Прочитайте тему о роботс и вопросов не будет.