Первая версия robots.txt , для более полной индексации.

[Yworld_garry]

Disallow: /index.php$      # закроете жумлу или что там вам надо

Смотрите внимательнее там есть проверить роботс и есть проверить там же разными ботами гугла.
И урлы там вводятся. Все как в яндексе за исключением если вашего файла там нет то скопировать туда содержимое.

[kid_a]

Disallow: /index.php$      # закроете жумлу или что там вам надо

Если я правильно понимаю, то этот знак закроет тег. По крайней мере, так сказано в справке яндекса: http://help.yandex.ru/webmaster/?id=996567#996572
Мне же надо закрыть ссылки типа таких: index.php?option=com_content&view=category&layout=blog&id=11

Покопалась в панели, нашла проверку роботс в гугле... Выдает только "Обнаружены данные о действительном файле Sitemap". Я так понимаю, значит, все ОК.

Ввожу урлы, без www пишет: Разрешено в строке 57: Allow: /forum/index.php
А с www - не в домене.
Это значит, будет индексировать?

[Yworld_garry]

Видимо да))

[kid_a]

Yworld_garry, спасибо за помощь, +
Жду индексации тогда

[kid_a]

Не фурычит
У меня домен без www
Окончательный вариант robots такой:

Код Выделить Развернуть

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*search
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Allow: /index.php?option=com_xmap&view=xml
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Allow: /forum/index.php
Allow: /forum/*sitemap
Allow: /forum/*gallery
Allow: /forum/*board=
Allow: /forum/*topic=
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*.new
Disallow: /forum/*printpage
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*unread
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: rodim.by
Sitemap: http://rodim.by/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Sitemap: http://rodim.by/forum/index.php?action=sitemap;xml
Отправляю sitemap проверить гуглу: пишет, что "Файл Sitemap содержит URL, доступ к которым заблокирован в файле"

Неужели никто с такой проблемой не сталкивался? Остается только забить на блок index.php? А как тогда с дублями джумлы быть?

[Yworld_garry]

Скорее всего у вас стоит редирект с www на без в .htaccess
Пример:
Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^yoursite\.com
RewriteRule ^(.*)$ http://www.yoursite.com/$1 [R=permanent,L] .

Что касается дублей в жумле, не скажу, но что то все равно вы не так делаете с вашей жумлой.  По моему там не так должно выглядеть.
А то что пишет что есть доступ к закрытым, так это вы в своей мапе регулируйте и не отдавайте в ней не нужные страницы.

[kid_a]

а как?
Яндекс сайт схавал, кстати. Причем правильно, без дублей, только нужные страницы в индексе. Форум хавать не хочет, скормила ему сайтмэп, жду... На форум бот заходил сегодня первый раз, в логах, где он был, ничего нет, но отмечено, что заходил сегодня

А гугл я вообще не пойму
Sitemap   Тип   Обработан   Проблемы   Элементы   Отправлено   Проиндексированные
   1      /forumsitemap.xml   Sitemap   19 янв. 2013 г.   Предупреждений: 220   Интернет   56   36
   2      /sitemap.xml                  Sitemap   19 янв. 2013 г.   -                              Интернет   82   5
Все предупреждения - из-за роботс: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt"
Хотя через "заблокированные урл" все ссылки с форума проверку проходят: "Разрешено в строке 56: Allow: /forum/index.php"

Мапа у меня вполне приличная, ничего лишнего...

Может, я просто рано нервничаю? Подождать, и все само образуется?

З.Ы. в .htaccess такого редиректа нет.

[Yworld_garry]

Может, я просто рано нервничаю? Подождать, и все само образуется?

Рано.

[kid_a]

Рано.

а когда начинать дергаться?

[andrey82y]

Ребята, помогите новичку.

Мой форум не индексируется.

Вот мой робот

Код Выделить Развернуть


    User-agent: *
    Allow: /*sitemap
    Allow: /*arcade
    Allow: /*rss
    Allow: /*type=rss
    Disallow: /attachments/
    Disallow: /avatars/
    Disallow: /Packages/
    Disallow: /Smileys/
    Disallow: /Sources/
    Disallow: /Themes/
    Disallow: /Games/
    Disallow: /*.msg
    Disallow: /*.new
    Disallow: /*sort
    Disallow: /*topicseen
    Disallow: /*wap
    Disallow: /*imode
    Disallow: /*action
    Disallow: /*prev_next
    Disallow: /*all
    Disallow: /*PHPSESSID
    Disallow: /*go.php
    Host: guitar-forum.com.ua
     
    User-agent: Slurp
    Crawl-delay: 100

[Сапожник]

Domen created: 2013-01-21
За четыре дня результат не сильно большой будет.

[andrey82y]

Domen created: 2013-01-21
За четыре дня результат не сильно большой будет.

То есть паниковать рано?
А сам робот.тхт правильный?

[emel]

А где ты такой робот взял???

Я брал с    Генератор правил

Там написано:
Можете воспользоваться этими заготовками для создания своих правил в поле справа:

У меня получился такой робот не знаю правда правильный или нет но с твоим отличается 
User-agent: Googlebot-Image
Disallow: /forum/

User-agent: YandexImages
Disallow: /forum/

User-agent: msnbot-MM
Disallow: /forum/

User-agent: Googlebot-Mobile
Allow: /forum/*wap
Disallow: /forum/

User-agent: YandexImageResizer
Allow: /forum/*wap
Disallow: /forum/

User-agent: MediaPartners-Google
Allow: /forum/

User-agent: Baiduspider
Disallow: /forum/

User-agent: *
Allow: /$
Allow: /*sitemap
Disallow: /forum/*action
Disallow: /forum/*wap
Disallow: /forum/*board=*wap
Disallow: /forum/*topic=*wap
Disallow: /forum/*;
Disallow: /forum/*PHPSESSID
Allow: /forum/*board*.html$
Allow: /forum/*topic*.html$
Disallow: /forum/
Disallow: /*profile
Sitemap: http://masterkvar.ru/forum/sitemap.xml
Sitemap: http://masterkvar.ru/forum/index.php?action=sitemap;xml
Crawl-delay: 10
Clean-param: PHPSESSID /forum/index.php
Host:masterkvar.ru/forum

User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

Host:masterkvar.ru/forum

А это что у вас за такое?

Хотя в принципе не важно что это, так как вы вообще запретили индексировать форум...

Disallow: /forum/

Проверять нужно перед тем как сочинять такие изощренные правила. Чего сложного потратить время на проверку и потом не мучатся.
Да и кстати у вас еще и сайт есть, так и он туда же.

[emel]

Вот спасибо убрал    forum/

Оставил так      Disallow: /

[Yworld_garry]

Да у вас весь файл кривой.

еще раз, проверьте в панелях коли решили извратится по поводу роботс.
Он у вас не работает как задуман. Не логичен и не правильно составлен.

http://masterkvar.ru/forum/index.php?action=sitemap;xml   - запрещен в файле, а профили разрешены наоборот из за нелогичности и все дубли разрешены.
Его надо сносить. в таком виде использовать нельзя.

[emel]

Посмотрите пожалуйста а такой пойдет?  я  его с верха из этого форума


User-agent: *
    Allow: /*sitemap
    Allow: /*arcade
    Allow: /*rss
    Allow: /*type=rss
    Disallow: /attachments/
    Disallow: /avatars/
    Disallow: /Packages/
    Disallow: /Smileys/
    Disallow: /Sources/
    Disallow: /Themes/
    Disallow: /Games/
    Disallow: /*.msg
    Disallow: /*.new
    Disallow: /*sort
    Disallow: /*topicseen
    Disallow: /*wap
    Disallow: /*imode
    Disallow: /*action
    Disallow: /*prev_next
    Disallow: /*all
    Disallow: /*PHPSESSID
    Disallow: /*go.php
    Host: http://masterkvar.ru/forum
     
    User-agent: Slurp
    Crawl-delay: 100

[Yworld_garry]

Пойдет если допишите везде директорию  /forum/ он же у вас там лежит.
И вот это  Host: http://masterkvar.ru/forum  поменяете на  Host: masterkvar.ru

[emel]

Спасибо еще раз, теперь правильно?


     User-agent: *
    Allow: / forum/*sitemap
    Allow: / forum/*arcade
    Allow: / forum/*rss
    Allow: / forum/*type=rss
    Disallow: / forum/attachments/
    Disallow: / forum/avatars/
    Disallow: / forum/Packages/
    Disallow: / forum/Smileys/
    Disallow: / forum/Sources/
    Disallow: / forum/Themes/
    Disallow: / forum/*.msg
    Disallow: / forum/*.new
    Disallow: / forum/*sort
    Disallow: / forum/*topicseen
    Disallow: / forum/*wap
    Disallow: / forum/*imode
    Disallow: / forum/*action
    Disallow: / forum/*prev_next
    Disallow: / forum/*all
    Disallow: / forum/*PHPSESSID
    Disallow: / forum/*go.php
    Host: masterkvar.ru
     
    User-agent: Slurp
    Crawl-delay: 100

[Yworld_garry]

теперь правильно?

Да.

[emel]

Подскажите а что это не нужно?  оно в верху стояло

User-agent: Googlebot-Image
Disallow: /forum/

User-agent: YandexImages
Disallow: /forum/

User-agent: msnbot-MM
Disallow: /forum/

User-agent: Googlebot-Mobile
Allow: /forum/*wap
Disallow: /forum/

User-agent: YandexImageResizer
Allow: /forum/*wap
Disallow: /forum/

User-agent: MediaPartners-Google
Allow: /forum/

User-agent: Baiduspider
Disallow: /forum/

[Yworld_garry]

Можете оставить, не принципиально, впишите ниже.

[emel]

При проверке Яндекса анализа robots.txt  выдает:

2: Allow: / forum/*sitemap               Возможно, был использован недопустимый символ
3: Allow: / forum/*arcade                 Возможно, был использован недопустимый символ
4: Allow: / forum/*rss                       Возможно, был использован недопустимый символ
5: Allow: / forum/*type=rss              Возможно, был использован недопустимый символ
6: Disallow: / forum/attachments/    Возможно, был использован недопустимый символ
7: Disallow: / forum/avatars/            Возможно, был использован недопустимый символ
8: Disallow: / forum/Packages/         Возможно, был использован недопустимый символ
9: Disallow: / forum/Smileys/             Возможно, был использован недопустимый символ
10: Disallow: / forum/Sources/           Возможно, был использован недопустимый символ
11: Disallow: / forum/Themes/           Возможно, был использован недопустимый символ
12: Disallow: / forum/*.msg               Возможно, был использован недопустимый символ
13: Disallow: / forum/*.new               Возможно, был использован недопустимый символ
14: Disallow: / forum/*sort                 Возможно, был использован недопустимый символ
15: Disallow: / forum/*topicseen        Возможно, был использован недопустимый символ
16: Disallow: / forum/*wap                 Возможно, был использован недопустимый символ
17: Disallow: / forum/*imode              Возможно, был использован недопустимый символ
18: Disallow: / forum/*action              Возможно, был использован недопустимый символ
19: Disallow: / forum/*prev_next        Возможно, был использован недопустимый символ
20: Disallow: / forum/*all                     Возможно, был использован недопустимый символ
21: Disallow: / forum/*PHPSESSID       Возможно, был использован недопустимый символ
22: Disallow: / forum/*go.php              Возможно, был использован недопустимый символ

Что то не так ?    

[Сапожник]

1. Перед allow и disallow поубирайте табуляцию
2. у вас после первой косой черты стоит пробел (/_forum/)

[emel]

   
Теперь после проверки robots.txt  высвечивается в низу:


1-23     User-agent: *
          Allow: /forum/*sitemap
          ...
          Host: masterkvar.ru

Подскажите пожалуйста - это все нормально или..............

[Сапожник]

Да

У Yworld_garry в подписи есть ссылка на конструктор robots.txt
Воспользуйтесь им, он более полный и проверенный.
У Вас, например, я не увидел:
Disallow: /forum/*action
....
Все остальное не смотрел подробно.

[emel]

  вот 18 строка  :    А конструктором я сегодня такого намутил что вот еле разобрался           
3: Allow: / forum/*arcade                 
4: Allow: / forum/*rss                       
5: Allow: / forum/*type=rss             
6: Disallow: / forum/attachments/   
7: Disallow: / forum/avatars/           
8: Disallow: / forum/Packages/         
9: Disallow: / forum/Smileys/           
10: Disallow: / forum/Sources/         
11: Disallow: / forum/Themes/           
12: Disallow: / forum/*.msg               
13: Disallow: / forum/*.new               
14: Disallow: / forum/*sort                 
15: Disallow: / forum/*topicseen       
16: Disallow: / forum/*wap                 
17: Disallow: / forum/*imode             
18: Disallow: / forum/*action         
19: Disallow: / forum/*prev_next       
20: Disallow: / forum/*all                     
21: Disallow: / forum/*PHPSESSID       
22: Disallow: / forum/*go.php


  Теперь после проверки robots.txt  высвечивается в низу:


1-23     User-agent: *
          Allow: /forum/*sitemap
          ...
          Host: masterkvar.ru

Подскажите пожалуйста - это все нормально или..............           

[Сапожник]

Не досмотрел, сорри

[emel]

Теперь после проверки robots.txt  высвечивается в низу:


1-23     User-agent: *
          Allow: /forum/*sitemap
          ...
          Host: masterkvar.ru

Подскажите пожалуйста - это все нормально или..............   

Так можно оставить таким

[Сапожник]

это пол дела
Вы же прописали правила только для форума, а еще нужно для сайта.

[emel]

так сайт  на WordPress, что ему нужно тоже robots.txt
Что мне посоветуете?

[GeorG]

ему нужно тоже robots.txt

Удивительно, но - да!

[emel]

Вы же прописали правила только для форума, а еще нужно для сайта.

Подскажите, а что нужно отдельно для сайта делать robots.txt или в мой для форума можно что нибудь вставить?

[Сапожник]

Все делается в одном файле.
Правила для форума объединяются с правилами для сайта.
Как правильно для вордпрес я не знаю

[emel]

Все делается в одном файле.
Правила для форума объединяются с правилами для сайта.

Дело в том что сайт у меня уже давно и там установлен плагин iRobots.txt SEO который сам установил iRobots.txt

# iRobots.txt SEO

# All Bots
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /tag/
Disallow: /category/

# Dugg Mirror
User-agent: duggmirror
Disallow: /

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

# Sitemap
# Sitemaps not allowed if strict definition selected

Так их нужно объединять в один или не стоит?

[Yworld_garry]

Так их нужно объединять в один или не стоит?

Все делается в одном файле.
Правила для форума объединяются с правилами для сайта.

[remingtone]

Вот спасибо убрал    forum/

Оставил так      Disallow: /

т.е. тупо закрыл ВСЁ

[emel]

т.е. тупо закрыл ВСЁ

Извините не понял как закрыл?

[GeorG]

Да всё нормально у вас там сейчас на сайте, просто, если поставить - Disallow: / то это заблокирует все страницы.

[emel]

Спасибо

[йфяцыч]

Файл, рекомендованный на форуме смотрел. Топики читал. Сам файл мне сделал разбирающийся в этом человек, но я после него своими кривыми ручками уже лазил в него. Боюсь мог накосячить, но своим замыленным взглядом не увижу этого.

Посоветуйте, все правильно? А то что-то плоховато Яндекс индексирует.

User-agent: Googlebot-Image
Allow: /*media*item
Allow: /MGalleryItem.php
Disallow: /

User-agent: YandexImages
Allow: /*media*item
Allow: /MGalleryItem.php
Disallow: /

User-agent: msnbot-MM
Allow: /*media*item
Allow: /MGalleryItem.php
Disallow: /

User-agent: Googlebot-Mobile
Allow: /*wap
Disallow: /

User-agent: YandexImageResizer
Allow: /*wap
Disallow: /

User-agent: MediaPartners-Google
Allow: /

User-agent: Baiduspider
Disallow: /

User-agent: *
Allow: /$
Allow: /*media$
Allow: /*media*album
Allow: /*media*item
Allow: /MGalleryItem.php?id
Allow: /*action=.xml
Allow: /*sitemap
Allow: /*pmxblog
Disallow: /*action
Disallow: /*wap
Disallow: /*board=*wap
Disallow: /*topic=*wap
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*;
Disallow: /*PHPSESSID
Disallow: /go.php
Disallow: /links.php
Disallow: /nk9
Allow: /*board
Allow: /*topic
Disallow: /
Sitemap: http://***.ru/sitemap.xml
Crawl-delay: 5
Clean-param: PHPSESSID /index.php
Host: ***.ru

[Mavn]

йфяцыч
вот что у вас за манера у всех создавать новые темы когда тема уже есть и обсуждение ведется...
неужели трудно оставить сообщение в существующей теме??

[йфяцыч]

Mavn

Да. Сорри, что-то я погорячился.
ПС: С сегодняшним апом наконец зашли страницы в индекс.

[Сапожник]

Yworld_garry,
Обнаружил в яндекс-вебмастере много заблокированных роботсом станиц типа .../index.php?action=post;topic=133.0
Как он туда попадают, если гостям писать запрещено и кнопки Ответить/цитировать у них нет?

[Yworld_garry]

Как он туда попадают, если гостям писать запрещено и кнопки Ответить/цитировать у них нет?

Возможно ваш проект попал в ряд уникальных, где присвоенная группа "пользователи" сработала для ботов.
Но в любом случаи нужно посмотреть, хотя еслиони запрещены и бог с ним. Но посмотреть можно на предмет, только почему они туда лазят дабы зря не напрягали сервер и лазили по нужным страницам.

Проверьте что у вас в файле и все ли корректно, в панели проверьте.

[Сапожник]

Спасибо за ответ.
Все проверил, вроде все нормально 
Подменил user agent, побродил по форуму и Яшей, и Гошей, и даже Джеймс Бондом - нет доступа к кнопкам ответить 
Понаблюдаю, если я правильно понимаю, они должны через какое-то время отвалиться.
===============================
Update: нешел 
Simple Portal  на главной предлагает "Написать комментарий"

[Igrok]

Доброго времени
Robots сделан по образцу топика, из индекса весь мусор ушел. Проблема в том, что вместе с ним ушло все, висит в индексе только главная. Возможно я просто нетерпелив, но терзают смутные сомнения - может все же что-то не так. Третья неделя уже, а индекса все нет...
Вот robots:

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Sitemap: http://forum.grayport.ru/sitemap.xml
Host: forum.grayport.ru

User-agent: Slurp
Crawl-delay: 100


Успокойте мятущуюся душу, пожалуйста, или скажите, в чем ошибся. Заранее благодарю

[Yworld_garry]

Успокойте мятущуюся душу, пожалуйста, или скажите, в чем ошибся. Заранее благодарю

Возможно стоит подождать апа, так как сейчас масса у кого подзависли новые странички и в индекс не лезут и даже на серьезных сайтах и больших. Если проверили в панелях правильность файла и все отрабатывает, то значит дело не в роботс, он проверен и работает, просто есть моменты конкретно для проектов и под них, например открытие модулей.
Но у вас там только всяких счетчиков и еще чего то больше 15 ссылок, так что может и санкции пришли.
Еще момент, у вас влючены дружественные урлы, писали миллион раз не включать, это зло. И к ним роботс не тестировался никак и использовать их нельзя, нужно ЧПУ, ставьте мод соответствующий.

[SergeyA]

Подскажите пожалуйста, как создать роботс для форума, который лежит в корне?
ЧТо именно нужно прописать?
А то ничего уже понять не могу из всего выше прочитанного=)
Заранее спасибо за помощь.

[Yworld_garry]

Подскажите пожалуйста, как создать роботс для форума, который лежит в корне?

Если вы про форум из вашего профиля, то тот что из первого поста. Там есть комментарии.