Первая версия robots.txt , для более полной индексации.

[Yworld_garry]

У вас стоит какой то мод ЧПУ и соответственно возможны всякие сюрпризы. По этому смотрите что там у вас с правилами, что конфликтует. Есть там какие то косяки, на глаз.
Во первых вы просите посмотреть и даете скрины урлов. Врят ли у кого то возникнет желание набирать всю строку по скрину и проверять что там с параметрами и тд.
Или нужно лазить по форуму и вылавливать эти урлы, потом проверять и тд.

[alexvod]

Ларчик просто открывался. Ответ Платона

Здравствуйте, Алексей!

Рассмотрим на примере страницы http:///profile/id37432968/?area=sho...5s4krssa027i02

Этому адресу соответствуют два правила: "Allow: /*rss" и "Disallow: /profile/"

"Allow: /*rss" стоит выше, соответственно оно имеет больший приоритет, и страница считается разрешенной для индексирования.

И действительно, во всех проиндексированных адресах есть rss

/profile/?area=summary;u=384;PHPSESSID=7hi7im449kpi5s4krssa027i02
/profile/?area=statistics;u=475;PHPSESSID=7hi7im449kpi5s4krssa027i02
/profile/Anastasiya.Martinova/?area=showposts;sa=attach;PHPSESSID=7hi7im449kpi5s4krssa027i02

Проблема решена. Всем спасибо

[dimongalant]

Самое главное  Allow: /__forum/*gallery должно быть всегда в начале , а иначе нет смысла

[ST]

Вебмастер Гугла в разделе Sitemap пишет:

URL, запрещенный файлом robots.txt
При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку.

Роботс такой:

User-agent: *
Allow: /*topic
Allow: /*sitemap
Allow: /*album
Allow: /*forum
Allow: /*rss
Allow: /*media
Allow: /*mgallery
Allow: /*board
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /sis/
Disallow: /mgal_data/
Disallow: /Other/
Disallow: /foto/
Disallow: /katalog/
Disallow: /*action
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /index.php$
Disallow: /go.php

User-agent: slurp
Crawl-delay: 1

User-agent: Twiceler
User-agent: Baiduspider
User-agent: W3C-checklink
Disallow: /

Sitemap: http://www.teplos.net/index.php?action=sitemap;xml

Что не так?

[Yworld_garry]

Карта должна идти слитно с блоком для ботов. Проверить в панели ПС

Код Выделить Развернуть

User-agent: *
Allow: /*topic
Allow: /*sitemap
Allow: /*album
Allow: /*forum
Allow: /*rss
Allow: /*media
Allow: /*mgallery
Allow: /*board
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /sis/
Disallow: /mgal_data/
Disallow: /Other/
Disallow: /foto/
Disallow: /katalog/
Disallow: /*action
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /index.php$
Disallow: /go.php
Sitemap: http://www.teplos.net/index.php?action=sitemap;xml

User-agent: slurp
Crawl-delay: 1

User-agent: Twiceler
User-agent: Baiduspider
User-agent: W3C-checklink
Disallow: /

[ST]

Спасибо, попробую. Что удивительно, ранее гугл на это не реагировал. А яндекс на это не ругается вовсе.

[Yworld_garry]

Не все ошибки сразу отображаются в панелях.

[ST]

Повторно отправил sitemap, гугл вроде схавал.

[Beer]

Хочу запретить индексацию нескольких тем так:

Disallow: /forum/index.php/board,3.0*
Disallow: /forum/index.php/topic,1635.0*

Все гуд - проверка в панели ЯД: запрещен правилом /forum/*.msg*

Но, это только в том случае, если я уберу строку:

Allow: /*topic

Которая из "Первая версия robots.txt"

Как мне правильно запретить к индексации определенные темы или топики?

[alexvod]

Allow: /*topic

А какой смысл писать это в роботсе? Ведь тогда все остальные инструкции (типа Disallow: /*.msg) теряют смысл

[Beer]

Disallow: /forum/*.msg

Меня смущает - это же заголовок сообщения в теме и одновременно ссылка на сообщение. Почему его запрещаем?

[Yworld_garry]

Покажите где Allow: /*topic  в файле из первого поста.

Disallow: /*.msg  # закрывает дубли именно сообщений, заголовок есть на странице в незакрытом виде.
либо у вас будут одинаковые посты по разным адресам. А ссылка на сообщение это для юзеров и удобства их, а не индекса кучи дублей ПС.

[Фисташка]

Мой robots для версии SMF 1.11, используется SMF Media Gallery 2.0.5, включено стандартное ЧПУ. Проверен в течении года, дублей не обнаружено, в поиске то, что нужно:

Код Выделить Развернуть

User-agent: *
Allow: /sitemap.xml
Allow: /index.php?action=sitemap;xml
Allow: /index.php?type=rss;action=.xml
Allow: /*rss
Allow: /*feed
Allow: /img/
Allow: /*mgallery*sa*item*id
Allow: /*mgallery*sa*media*id
Allow: /*mgallery*sa*media*id*preview
Allow: /MGalleryItem.php?id=*
Allow: /index.php?action=mgallery$
Disallow: /*mgallery*sa*media*id*thumb
Disallow: /*mgallery*sa*report*type*item*id
Disallow: /*mgallery*sa*item*id*desc
Disallow: /*mgallery*sa*item*id*sort
Disallow: /*mgallery*item*asc
Disallow: /*mgallery*nw*start
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs_usr/
Disallow: /cache/
Disallow: /chat/
Disallow: /Packages/
Disallow: /shoutBox/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /mgal_data/
Disallow: /*Themes
Disallow: /*?
Disallow: /*printpage
Disallow: /*action
Disallow: /index.php?action=sitemap
Disallow: /*go.php
Disallow: /*all
Disallow: /*.msg
Disallow: /*.new
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*PHPSESSID
User-agent: Slurp
Crawl-delay: 100
User-agent: META
Crawl-delay: 100
User-agent: Twiceler
Disallow: /
User-agent: W3C-checklink
Disallow: /
User-Agent: Webalta, DISCo Pump, Wget, WebZIP, Teleport Pro, WebSnake, Offline Explorer, Web-By-Mail, Teleport Pro/1.29, Scooter-W3-1.0
Disallow: /
User-agent: Yandex
Allow: /sitemap/xml
Allow: /index.php?action=sitemap;xml
Allow: /index.php?type=rss;action=.xml
Allow: /*rss
Allow: /*feed
Allow: /img/
Allow: /*mgallery*media*preview
Disallow: /*mgallery*media*thumb
Disallow: /*mgallery*item*desc
Disallow: /*mgallery*item*asc
Disallow: /*mgallery*report
Disallow: /*mgallery*sort
Allow: /*mgallery*item
Allow: /*mgallery*media
Allow: /MGalleryItem.php?id=*
Disallow: /*mgallery*sa
Disallow: /*mgallery*nw
Disallow: /*mgallery*asc
Disallow: /*mgallery*fw
Disallow: /*profile
Allow: /*mgallery
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs_usr/
Disallow: /cache/
Disallow: /chat/
Disallow: /Packages/
Disallow: /shoutBox/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /mgal_data/
Disallow: /*Themes
Disallow: /*?
Disallow: /*printpage
Disallow: /*action
Disallow: /index.php?action=sitemap
Disallow: /*go.php
Disallow: /*all
Disallow: /*.msg
Disallow: /*.new
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*PHPSESSID
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Или, такой для мода SimpleSEF. Проверен только в панеле вебмастера гугла и яндекса. Ссылки имеют вид:
http://site.ru/gotovim-vmeste/narezka-na-stol-2141.0.html => для тем
http://site.ru/mgallery/sa,item/id,325/ => для галереи

Код Выделить Развернуть

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs_usr/
Disallow: /board
Disallow: /cache/
Disallow: /chat/
Disallow: /contact/
Disallow: /dlattach/
Disallow: /index.php
Disallow: /findmember/
Disallow: /go.php
Disallow: /help/
Disallow: /imode
Disallow: /login
Disallow: /mgal_data/
Disallow: /Packages/
Disallow: /printpage
Disallow: /profile
Disallow: /recent
Disallow: /register
Disallow: /reminder
Disallow: /rules/
Disallow: /shoutBox/
Disallow: /sitemap/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /topic
Disallow: /*.msg
Disallow: /*asc
Disallow: /*bigicon
Disallow: /*comment
Disallow: /*desc
Disallow: /*fw
Disallow: /*icon
Disallow: /*MGalleryItem.php
Disallow: /*next
Disallow: /*num_replies
Disallow: /*PHPSESSID
Disallow: /*prev
Disallow: /*preview
Disallow: /*report
Disallow: /*rss
Disallow: /*search
Disallow: /*smgtaghelp
Disallow: /*sort
Disallow: /*start
Disallow: /*stats
Disallow: /*Themes
Disallow: /*thumb
Disallow: /*quote
Disallow: /*wap
Disallow: /*wap2
Host: site.ru
Sitemap: http://site.ru/sitemap/xml

[Laonda93]

Всё утро не могу разобраться с проблемой:
SMF 2.0.1
Во втором посте темы ссылка на скачку плагина, но он не подходит под 2.0.1
Советуют воспользоваться эмуляцией, эмуляция срабатывает только для 2.0 RC4
При дальнейшей установке возникают ошибки(прикрепил скриншот).

Просьба не ругаться и не посылать в гугл, там я провёл по меньшей мере 3 часа и облазил даже несколько англоязычных форумах. Почти везде, где описана проблема тому кто спросил никто не отвечает, а потом он сам пишет "ура решил проблему", как решил все молчат.

Возможно есть способ подружить Xmap с SMF ? У меня сайт на джумле 1.7?

Буду благодарен если тыкнете носом в ТОЧНЫЙ ответ на мой вопрос, либо ответите, либо предложите альтернативу.

[GeorG]

http://docs.simplemachines.org/index.php?topic=402

[Laonda93]

Не на столько хорошо знаю англ, что бы адекватно понять столько текста =\
Из статьи понял лишь то, что надо в ручную устанавливать мод и переписывать код.
Верно?

Более простого пути нет? Без убийства 24ех часов+ ?

[GeorG]

Верно?

Да.

Более простого пути нет? Без убийства 24ех часов+ ?

Есть, заказать установку за деньги

[Laonda93]

Есть, заказать установку за деньги

У кого, чтоб без развода и сколько стоит?

[tekseo]

Мой robots для версии SMF 1.11, используется SMF Media Gallery 2.0.5, включено стандартное ЧПУ. Проверен в течении года, дублей не обнаружено, в поиске то, что нужно:

Код Выделить Развернуть

User-agent: *
Allow: /sitemap.xml
Allow: /index.php?action=sitemap;xml
Allow: /index.php?type=rss;action=.xml
Allow: /*rss
Allow: /*feed
Allow: /img/
Allow: /*mgallery*sa*item*id
Allow: /*mgallery*sa*media*id
Allow: /*mgallery*sa*media*id*preview
Allow: /MGalleryItem.php?id=*
Allow: /index.php?action=mgallery$
Disallow: /*mgallery*sa*media*id*thumb
Disallow: /*mgallery*sa*report*type*item*id
Disallow: /*mgallery*sa*item*id*desc
Disallow: /*mgallery*sa*item*id*sort
Disallow: /*mgallery*item*asc
Disallow: /*mgallery*nw*start
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs_usr/
Disallow: /cache/
Disallow: /chat/
Disallow: /Packages/
Disallow: /shoutBox/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /mgal_data/
Disallow: /*Themes
Disallow: /*?
Disallow: /*printpage
Disallow: /*action
Disallow: /index.php?action=sitemap
Disallow: /*go.php
Disallow: /*all
Disallow: /*.msg
Disallow: /*.new
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*PHPSESSID
User-agent: Slurp
Crawl-delay: 100
User-agent: META
Crawl-delay: 100
User-agent: Twiceler
Disallow: /
User-agent: W3C-checklink
Disallow: /
User-Agent: Webalta, DISCo Pump, Wget, WebZIP, Teleport Pro, WebSnake, Offline Explorer, Web-By-Mail, Teleport Pro/1.29, Scooter-W3-1.0
Disallow: /
User-agent: Yandex
Allow: /sitemap/xml
Allow: /index.php?action=sitemap;xml
Allow: /index.php?type=rss;action=.xml
Allow: /*rss
Allow: /*feed
Allow: /img/
Allow: /*mgallery*media*preview
Disallow: /*mgallery*media*thumb
Disallow: /*mgallery*item*desc
Disallow: /*mgallery*item*asc
Disallow: /*mgallery*report
Disallow: /*mgallery*sort
Allow: /*mgallery*item
Allow: /*mgallery*media
Allow: /MGalleryItem.php?id=*
Disallow: /*mgallery*sa
Disallow: /*mgallery*nw
Disallow: /*mgallery*asc
Disallow: /*mgallery*fw
Disallow: /*profile
Allow: /*mgallery
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs_usr/
Disallow: /cache/
Disallow: /chat/
Disallow: /Packages/
Disallow: /shoutBox/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /mgal_data/
Disallow: /*Themes
Disallow: /*?
Disallow: /*printpage
Disallow: /*action
Disallow: /index.php?action=sitemap
Disallow: /*go.php
Disallow: /*all
Disallow: /*.msg
Disallow: /*.new
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*PHPSESSID
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Или, такой для мода SimpleSEF. Проверен только в панеле вебмастера гугла и яндекса. Ссылки имеют вид:
http://site.ru/gotovim-vmeste/narezka-na-stol-2141.0.html => для тем
http://site.ru/mgallery/sa,item/id,325/ => для галереи

Код Выделить Развернуть

User-agent: *
Disallow: /attachments/
Disallow: /avatars/
Disallow: /avs_usr/
Disallow: /board
Disallow: /cache/
Disallow: /chat/
Disallow: /contact/
Disallow: /dlattach/
Disallow: /index.php
Disallow: /findmember/
Disallow: /go.php
Disallow: /help/
Disallow: /imode
Disallow: /login
Disallow: /mgal_data/
Disallow: /Packages/
Disallow: /printpage
Disallow: /profile
Disallow: /recent
Disallow: /register
Disallow: /reminder
Disallow: /rules/
Disallow: /shoutBox/
Disallow: /sitemap/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /topic
Disallow: /*.msg
Disallow: /*asc
Disallow: /*bigicon
Disallow: /*comment
Disallow: /*desc
Disallow: /*fw
Disallow: /*icon
Disallow: /*MGalleryItem.php
Disallow: /*next
Disallow: /*num_replies
Disallow: /*PHPSESSID
Disallow: /*prev
Disallow: /*preview
Disallow: /*report
Disallow: /*rss
Disallow: /*search
Disallow: /*smgtaghelp
Disallow: /*sort
Disallow: /*start
Disallow: /*stats
Disallow: /*Themes
Disallow: /*thumb
Disallow: /*quote
Disallow: /*wap
Disallow: /*wap2
Host: site.ru
Sitemap: http://site.ru/sitemap/xml

Скажите, для 2,01 данная версия robots подойдёт?

[nightwolf]

tekseo+1 тоже интересует вопрос.
Сейчас изучил веб.мастер свой и понял, что форум моего сайта не индексируется, а там не мало страниц. Здесь прочитал и поменял Noindex, как указано в начале темы.В веб.мастере как раз пишется, что из-за noindex не индексировался. Теперь со следующем апом они исчезнут из исключенных страниц и появятся в поиске?

Второй вопрос общий по поводу robots.txt . Я плохо разбираюсь в его настройке и надеюсь вы сможете мне помочь понять:
-robots.txt может быть только один!?(в корневой папке)
-мой роботикс sc2wolf.ru/robots.txt. Правильно ли я сделал?
-если один роботс, то настройки для форума мне нужно вставить в этот файл к списку disallow/allow или после того, как закончатся для сайта?
-заметил в вебмастер 90 страниц имеют неверный формат.Ошибка по разделам component/  Я перехожу по любой ссылки и попадаю в окно сохранения. Смотрю файл 1-2 кб без формата(неизвестный). Я думаю, это может загруженные файлы на сайт проиндексировались?Нужно ли здесь что-то настраивать?

p.s.Всех заранее благодарю за понимание.

[Фисташка]

Скажите, для 2,01 данная версия robots подойдёт?

нет

[Солярис]

Уважаемые!

Обнаружил через панель Вебмастера в Яндексе, что вот эти директивы:
Disallow: /*.new
Disallow: /*msg
Disallow: /*sort
Disallow: /*imode
Disallow: /*wap
Disallow: /*topicseen
Disallow: /*prev_next

Для Яндекса не работают. При проверке адресов, содержащих такие строчки Яндекс указывает, что они разрешены для индексации.
То есть получается, что надо ставить и в конце этих директив звездочку. Только при таком написании идет запрет на индексацию подобных адресов.

Что думаете по этому поводу?

[digger®]

Уважаемые!

Обнаружил через панель Вебмастера в Яндексе, что вот эти директивы:
Disallow: /*.new
Disallow: /*msg
Disallow: /*sort
Disallow: /*imode
Disallow: /*wap
Disallow: /*topicseen
Disallow: /*prev_next

Для Яндекса не работают. При проверке адресов, содержащих такие строчки Яндекс указывает, что они разрешены для индексации.
То есть получается, что надо ставить и в конце этих директив звездочку. Только при таком написании идет запрет на индексацию подобных адресов.

Что думаете по этому поводу?

А Яндексу не достаточно, что на этих страницах есть <link rel="canonical" href="http://myforum/index.php?topic=xxx" /> ?

[Yworld_garry]

tekseo+1 тоже интересует вопрос.
Сейчас изучил веб.мастер свой и понял, что форум моего сайта не индексируется, а там не мало страниц. Здесь прочитал и поменял Noindex, как указано в начале темы.В веб.мастере как раз пишется, что из-за noindex не индексировался. Теперь со следующем апом они исчезнут из исключенных страниц и появятся в поиске?

Второй вопрос общий по поводу robots.txt . Я плохо разбираюсь в его настройке и надеюсь вы сможете мне помочь понять:
-robots.txt может быть только один!?(в корневой папке)
-мой роботикс sc2wolf.ru/robots.txt. Правильно ли я сделал?
-если один роботс, то настройки для форума мне нужно вставить в этот файл к списку disallow/allow или после того, как закончатся для сайта?
-заметил в вебмастер 90 страниц имеют неверный формат.Ошибка по разделам component/  Я перехожу по любой ссылки и попадаю в окно сохранения. Смотрю файл 1-2 кб без формата(неизвестный). Я думаю, это может загруженные файлы на сайт проиндексировались?Нужно ли здесь что-то настраивать?

p.s.Всех заранее благодарю за понимание.

1. Не обязательно что со следующим
2. Да один
3. После сайта
4. Не знаю что у вас генерит сайт, но если такие страницы не нужны, блокируйте их в роботс или другим способом

Скажите, для 2,01 данная версия robots подойдёт?

нет

Если у вас не поменялось что то коренным образом, то изменения минимальны

Для Яндекса не работают. При проверке адресов, содержащих такие строчки Яндекс указывает, что они разрешены для индексации.

Если вы про форум в подписи, то вам нужно весь роботс проверить. Там не так все в прямую надо добавлять. С логикой там сложно, я бы сказал очень не простой у вас там файлик.
Разрешения и запреты нужно расставить логично.

А Яндексу не достаточно, что на этих страницах есть <link rel="canonical" href="http://myforum/index.php?topic=xxx" /> ?

По идее должно хватать и по правилу директивы и тому что яндекс заявил.
Но на практике промахивается именно по форуму. Хотя есть и с другими скриптами. Особенно при живом общении, думаю именно дело в частом обновлении страниц или как то так.

[slow]

Ребзя, посмотрите пожалуйста опытным взглядом: такой роботс подойдет для форума с порталом Simple Portal?

Код Выделить Развернуть

User-agent: *
Allow: /*index.php?action=forum
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*printpage
Disallow: /index.php?*wap
Disallow: /*wap
Disallow: /*.msg
Disallow: /*sort               
Disallow: /index.php?action=help                 
Disallow: /index.php?action=profile                 
Disallow: /index.php?action=mlist                 
Disallow: /index.php?action=admin                 
Disallow: /index.php?action=pm                 
Disallow: /index.php?action=notify                 
Disallow: /index.php?action=recent                 
Disallow: /index.php?action=mergetopics                 
Disallow: /index.php?action=printpage
Disallow: /index.php?action=reminder
Disallow: /index.php?action=verificationcode
Disallow: /index.php?action=help
Disallow: /index.php?action=login
Disallow: /index.php?action=login2
Disallow: /index.php?action=register
Disallow: /index.php?action=post
Disallow: /index.php?action=search
Disallow: /index.php?action=search2
Disallow: /index.php?action=stats;
Disallow: /index.php?action=activate;
Disallow: /index.php?action=calendar;
Disallow: /index.php?action=showawards;
Sitemap: http://мойфорум/sitemap.xml


[Yworld_garry]

Ребзя посмотрела, отправила к первому посту темы

[iliuxa]

Доброго всем!
Итак есть проблема такого типа: при заргузке sitemap в google выдает следующее

URL, запрещенный файлом robots.txt
При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку.


содержание роботс

User-agent: *
Allow: /*sitemap
Allow: /*forum
Allow: /*board
Allow: /*topic
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /sis/
Disallow: /Other/
Disallow: /foto/
Disallow: /katalog/
Disallow: /*action
Disallow: /*.msg
Disallow: /*.new
Disallow: /*wap
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /index.php$
Disallow: /go.php
Sitemap: http://www.мойсайт.com/index.php?action=sitemap;xml
Host: www.мойсайт.com

User-agent: slurp
Crawl-delay: 10

User-agent: Twiceler
User-agent: Baiduspider
User-agent: W3C-checklink
Disallow: /


Доп. информация версия форума smf 2.0.1,
установлен Pretty URLs 1.0RC5.2 ,
установлен  Sitemap    2.2.0

sitemap скармливал гуглу такой index.php?action=sitemap;xml и такой index.php?action=sitemap

Безрезультатно. Не жрет (

В общем у кого какие мысли?

[Макар]

пропиши его выше директивы Disallow: /*action

или в отдельном блоке

[Yworld_garry]

Думаю лучше дать урл, тогда можно будет на месте посмотреть что в файле не логично. Потому что не должно быть запретов карты. Значит что то в роботсе вашем не на месте.

[iliuxa]

Добавился сайтмап, сегодня утром. Странно, ничего ведь не делал.

[chilly86]

Добавился сайтмап, сегодня утром. Странно, ничего ведь не делал.

Вы один одмин?

[iliuxa]

Один. У семи админов....

[nightwolf]

1. Не обязательно что со следующим
2. Да один
3. После сайта
4. Не знаю что у вас генерит сайт, но если такие страницы не нужны, блокируйте их в роботс или другим способом

Спасибо большое вам!!!!!!
Скажите, у меня в sc2wolf.ru/robots.txt  прописан не индексировать Disallow: /components/
Это что получается, мне нужно прописать  Disallow: /component/ ? И как точно узнать, что это такое, что не индексируется яндексом и при нажатии на ссылку сохраняет какой-то непонятный файл размером 2кб?

Открываю одну из 109 исключенных ссылок, где no index и она имеет странный формат, который раннее не видел http://www.sc2wolf.ru/forum/index.php?PHPSESSID=439f8ef0d04da0ca19ddd44c0ec31fde&topic=17.msg34  А по сути на форуме у меня на эту страницу вот такая ссылка http://www.sc2wolf.ru/forum/index.php?topic=2.0. Что это за странные ссылки?

p.s. Я что-то немного запутался!

[Yworld_garry]

1. Я не знаю что у вас такое /components/, дайте ссылку что ли, на этот раздел
2. Ссылки исключены и правильно, хотите узнать что это такое, вбейте в поиск тут PHPSESSID

[nightwolf]

Так раздел /components/ не индексируется. А индексируется какой-то /component/ без буквы "s". А как мне узнать ссылку на этот раздел?

Файл вот такой странный файл скачивается sc2wolf.ru/component/search/?Itemid=130&id=2&format=opensearch   

Может это просто дубликаты страниц и поэтому они исключаются. Я нашел немного здесь ?

p.s. Робот не заходит, а в поиске то 160 страниц, то 100 не пойму почему скачет кол-во страниц?

[Yworld_garry]

1. Я имел ввиду поиск на этом форуме.
2. У вас стоит жумла перед форумом и что там за структура я просто не знаю.
Наш роботс касается именно форума, а со всем остальным нужно отдельно разбираться или посмотреть на оф форумах, возможно там есть решение.

[stundr]

Всем добрый день.
Подскажите по файлу.
У меня стоит сайт на вордпрессе с ЧПУ и форум в папке /forum
добавил вот такой файл роботс.тхт:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*type=rss
Disallow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Sitemap: http://site.ru/forum/sitemap.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*type=rss
Disallow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Sitemap: http://site.ru/forum/sitemap.xml
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Затем создал тему на форуме, добавил сайт в яндекс вебмастер взял ссылку с новой темы для проверки и яндекс мне пишет, что: запрещен правилом /*?* 
подскажите, какую строку убрать из файла роботс.тхт?
Заранее спасибо.
Плюс если есть какие то неверности в файле тоже было бы неплохо их указать.

[nightwolf]

Yworld_garry, У меня сейчас на сайте Robots.txt только для joomla. А для форума стандартный не предусмотрен с движком?Я просто думал, что роботс должен быть один. Просто до сих пор яндекс почему-то пол форума noindex

[lom_aka_snov]

Как запретить в роботс гуглу делать это: "Просматривает профиль пользователя"? Спасибо заранее. На данный момент так:

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Host: www...

User-agent: Slurp
Crawl-delay: 100

[Mavn]

У меня сейчас на сайте Robots.txt только для joomla

что роботс должен быть один

ну так что мешает совместить 2 роботса в один файл???

А для форума стандартный не предусмотрен с движком?

разработчиками нет, не предусмотрен. поэтому и создавалась эта тема для облегчения задачи пользователям форума.

Как запретить в роботс гуглу делать это: "Просматривает профиль пользователя"?

роботс всего лишь рекомендация поисковикам и это не значит что гугл не сможет зайти на страницу. Если указано правило в роботс это еще не значит что гугл вообще на подобные страницы заходить не будет. а запрет делается следующим правилом

Код Выделить Развернуть

Disallow: /*action

[stundr]

Друзья!
Очень хочется получить ответ на такой вопрос:
яндекс почему то индексирует форум с такими ссылками:
http://site.com/forum/index.php?PHPSESSID=27f807fbc580296fcc096d56dfa20b4e&topic=13.0
вместо вот таких:
http://site.com/forum/index.php?topic=13.0
в гугле проблем  нет, все нормально индексируется
написал в яндекс, в ответ получил вот это:
Дело в том, что роботу при обходе сайта отдаются ссылки именно с параметрами сессии, поэтому они индексируются и участвуют в поиске. Ссылки без параметров непосредственно на сайте робот не знает. К сожалению, у нас нет возможности указать, какие именно настройки на стороне Вашего сайта влияют на возникновение данной проблемы. Если робот будет находить ссылки без параметров, то индексироваться и участвовать в поиске будут именно они.

как решить данную проблему, кто подскажет?
мой файл robots.txt:

Код Выделить Развернуть

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*forum
Disallow: /forum/attachments*/
Disallow: /forum/avatars/
Disallow: /forum/avatars_users/
Disallow: /forum/cache/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*all
Disallow: /forum/*go.php
Disallow: /forum/*prev_next
Disallow: /forum/*all
Sitemap: http://site.com/forum/sitemap.xml
Sitemap: http://site.com/sitemap.xml
Host: site.com

[maestrosite.ru]

где-то я это уже видел - http://www.simplemachines.ru/index.php?topic=14314.msg110231#msg110231

[Yworld_garry]

Уважаемые веб-мастера, если вы получили ниже приведенное письмо от яндекса, не стоит паниковать и нервничать. Если вы используете robots.txt или его производные из приведенного в первом посте этой темы, проблем не будет. Даже если вы вносили изменения и дополняли сложными правилами. Но в любом случаи проверьте в панели свои правила. Общие отрабатывают как до внесения изменений яндексом.

Добрый день!


Уведомляем вас об изменениях в обработке директивы 'Allow' файла, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.

По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.

Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.


Подробнее об использовании директив вы можете прочитать в Помощи.


С уважением,
Яндекс.Вебмастер

Файл robots.txt находится и загружается в корень сайта, не в корне форума, не в папке темы, не в папках любых других. Распространяется на весь сайт, если уже существует в корне такой файл, то он просто дополняется правилами для форума. Не пишется robots2.txt, robots_forum.txt.

[Vadimru]

Блин, голова кипит, а так и не понял, почему sitemap закрыт доя гугла, янлекс принял... Роботс вот http://astrallife.ru/robots.txt Правильный ли он у меня? А то в Яндексе тоже мало страниц, а в гугл в свою очередь слишком много. ЧПУ снёс...
В чем ребят может быть проблема?

[Yworld_garry]

Во первых Host: astrallife.ru  пишут слитно с блокм без пропуска строки.
Во вторых http://astrallife.ru/index.php?action=sitemap;xml  Разрешен и с ним все нормально(проверил и в яндексе и гугле)
Причем Allow: /index.php?action=sitemap;xml лишняя, все прекрасно работает с одним разрешением Allow: /*sitemap
Возможно в гугле еще кеш страниц с чпу, хотя если не запретить в роботс, что то по параметру урла из чпу, они будут очень долго в пс и будет масса гемора.

[Vadimru]

Во первых Host: astrallife.ru  пишут слитно с блокм без пропуска строки.
Во вторых http://astrallife.ru/index.php?action=sitemap;xml  Разрешен и с ним все нормально(проверил и в яндексе и гугле)
Причем Allow: /index.php?action=sitemap;xml лишняя, все прекрасно работает с одним разрешением Allow: /*sitemap
Возможно в гугле еще кеш страниц с чпу, хотя если не запретить в роботс, что то по параметру урла из чпу, они будут очень долго в пс и будет масса гемора.

Спасибо, исправил. А вот как раз по поводу что то по параметру ЧПУ и вызывает проблему... Не ясно, что закрывать...

[Yworld_garry]

А вот как раз по поводу что то по параметру ЧПУ и вызывает проблему... Не ясно, что закрывать...

При желании можно закрыть все что угодно, практически все.


Тут будет всегда самая свежая версия и все изощренности)))
Конструктор файла robots.txt

[spack]

На первой странице во 2-ом сообщении написанно что надо инсталить и мод для генерации карты:
"Ставим вот этот мод SMF sitemap" + строчка в robots.txt -----> Allow: /*sitemap

А он разве для версии SMF 2.0.2 подходит ?
Пытался ставить последнюю версию мода (2.2.1), выдает ошибку:
"The package you are trying to download or install is either corrupt or not compatible with this version of SMF."
Какой мод надо ставить для генерации карты ?

[Avdenago]

Друзья!
Очень хочется получить ответ на такой вопрос:
яндекс почему то индексирует форум с такими ссылками:
http://site.com/forum/index.php?PHPSESSID=27f807fbc580296fcc096d56dfa20b4e&topic=13.0
вместо вот таких:
http://site.com/forum/index.php?topic=13.0
в гугле проблем  нет, все нормально индексируется
...
как решить данную проблему, кто подскажет?

Попробуйте для Яндекса использовать параметр Clean-param  http://help.yandex.ru/webmaster/?id=996567#1041216

[Yworld_garry]

Disallow: /*PHPSESSID