Первая версия robots.txt , для более полной индексации.

[ВладимирК]

Извиняюсь а где  robots.txt
Используйте всегда последнюю версию файла
Сам robots.txt текущий 28/03/2011
Свежий в аттаче
----------------------------И почему только в
Подготавливаем форум к его использованию.
В файле Themes\index.template.php
Убираем
Код: [Выделить]
<meta name="robots" content="noindex" />
А лучше заменяем на
Код: [Выделить]
<meta name="robots" content="index, follow" />
========================Их же 11 штук

[Yworld_garry]

Сам robots.txt текущий 28/03/2011
Свежий в аттаче

Оно и есть свежее и последние. Это не тот файл что бы его обновлять с версией. Ни чего не поменялось.

[ВладимирК]

А по этому адресу не тот http://www.simplemachines.ru/robots.txt
--------------------
User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*forum
Disallow: /attachments*/
Disallow: /avatars/
Disallow: /avatars_users/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*wap2
Disallow: /*imode
Disallow: /*action
Disallow: /*all
Disallow: /*go.php
Disallow: /*prev_next
Disallow: /*all
User-agent: Slurp
Crawl-delay: 100
User-agent: Mediapartners-Google
Allow: /*
User-Agent: YadirectBot
Allow: /*

[Yworld_garry]

А по этому адресу не тот

И еще есть 100000 вариаций этого файла. Но если приглядеться, то функционал один.
В этой теме все сто раз описано.

Их же 11 штук

Не надо трогать остальные. Вы посмотрите в каких файлах стоит этот тег. Они не нужны в выдаче.

[ВладимирК]

  Ох уж эти капчи. Язык меняю по 100 раз. Так получилось, посмотрите. У Вас перенос Так надо? до

User-agent: Slurp
Crawl-delay: 100=ЗДЕСЬ побел? Так надо?
Не знаю какое Главное зеркало
www.videokino.org   или   videokino.org
-----------------------------
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php
Host: www.videokino.org

User-agent: Slurp
Crawl-delay: 100

[ВладимирК]

ИСПРАВЛЕНО
Нет такого Файла по адресу  Themes\index.template.php
Но есть по адресу   Themes\core\index.template.php
И есть по адресу Themes\default\index.template.php
И в обоих <meta name="robots" content="noindex" /> Какой же файл из них?

[Yworld_garry]

у вас форум в подпапке  /forum/ стоит?
Если нет, то удалить.

Я не понял что вы спрашиваете про переносы, но то что ниже пунктира, правильно.
А зеркало сами должны определить. Посмотрите как яндекс проиндексировал и отсюда и плясать.
Для гугла 301 редирект.

Нет такого в В файле Themes\index.template.php

Ну дык в той теме что используете на форуме

[ВладимирК]

В корне стоит. Зеркало Яндекс не знает?

[Yworld_garry]

значит уберите папку из файла. Раз в корне.
и вот вам ман по зеркалам http://help.yandex.ru/webmaster/?id=995297

[ВладимирК]

Извините я запутался. Какой убрать "значит уберите папку из файла. Раз в корне." Может быть файл из папки убрать? Дак их два
Но есть в \Themes\core\index.template.php
И есть Themes\default\index.template.php
А может тег <meta name="robots" content="noindex" /> убрать из обоих index.template.php
Объясните, может пойму. И сам Робот текст - этот пойдёт? С зеркалом буду выяснять.
--------------------
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php
Host: www.videokino.org

User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

Это в корень:
User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: www.videokino.org # зеркало определите прочитав ман который я дал по ссылке

User-agent: Slurp
Crawl-delay: 100


\Themes\core\ название темы которую используете на форуме.  В ней и делайте изменения. Или в той что используете.

[ВладимирК]

Большое Вам спасибо!

\Themes\core\ название темы которую используете на форуме.  В ней и делайте изменения. Или в той что используете.

Это я не понял
Название темы оформления: SMF Default Theme - Curve
А это я понял
Адрес (URL) темы оформления:http://videokino.org/Themes/default
Значит заменяю тег в этом файле Themes\default\index.template.php
И оставляю в этом файле
\Themes\core\index.template.php
Вроде так?

[ВладимирК]

Вам подарок. Вот чего я учудил. Классно работает.
Особенно необходимо в Л.С.
Внизу картинки. Вложения расширились.
Скачайте файл default.zip

[ВладимирК]

Я права выставляю всем 775 правильно ли. ни где не видел чего надо.

[Yworld_garry]

Вам отписал в личку по вопросам. За подарок спасибо конечно.
Вот только ни как не соображу куда бы его отсюда перенести)))

[ВладимирК]

Вроде понял. Чтобы зеркала не индексировались.
Но ведь в файлах скрипта уже есть запреты на эти страницы.
Но видимо они не полные, а Вы дополнили в Робот. тексте.

[Yworld_garry]

Хоть закрывай тему, ну прочитайте хоть немного постов в этой теме, описано все что можно.
Да даже читать не надо, просто логику включите. Если один урл с одной и той же темы в индексе, а другой нет и закрыт в роботсе.
Может это дубль, не ?

Перед тем как задать вопрос, стоит прочитать тему и воспользоваться прекрасно работающим поиском!!!!!!!!!


Это не в обиду, это нервное)))))

[ВладимирК]

Да. Уже понял. Но сначала напугался.

[Сапожник]

Не знаю каким образом, но занесла меня нелегкая на Bing и я даже случайно вспомнил свой эккаунт у майкрософта
Вообщем, скормил я ему сайт, а он в своем вебмастере ругается, что sitemap запрещен в файле robots 
Файл, помоему, был сгенерирован где-то/когда-то и на мой взгляд, ничем не отличается, от тех, которые приводят здесь на каждой странице. Яша и Гоша его хавают и не давятся
Вопрос не критический, но может кто-то скажет, почему файл не нравится Бингу?

Код Выделить Развернуть

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /*action=forum
Allow: /*action=sitemap*
Disallow: /go.php
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*action
Disallow: /*wap
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Host: www.site.com.ua
Sitemap: http://site.com.ua/index.php?action=sitemap;xml
User-agent: Slurp
Crawl-delay: 100

Ps Если убрать строчку Disallow: /*action то Бинг начинает видеть сайтmap

[Bugo]

А вы пробовали перед каждым User-agent пустую строчку вставлять, как полагается?

[Сапожник]

не пробовал. Попробую...

[crazyASD]

Зашел в Google webmaster tools сегодня, и офигел:

Повторяющиеся заголовки (теги title)

Код Выделить Развернуть

/forum/index.php/topic,20029.0.html
/forum/index.php?topic=20029
/forum/index.php/topic,20029.0
/forum/index.php?topic=20029.15


Robots.txt из этой темы (http://____cadstudio.ru/robots.txt)
Как бороться с дублями? Откуда они могли взяться?

[digger®]

Зашел в Google webmaster tools сегодня, и офигел:

Повторяющиеся заголовки (теги title)

Код Выделить Развернуть

/forum/index.php/topic,20029.0.html
/forum/index.php?topic=20029
/forum/index.php/topic,20029.0
/forum/index.php?topic=20029.15


Robots.txt из этой темы (http://______cadstudio.ru/robots.txt)
Как бороться с дублями? Откуда они могли взяться?

Frendly Urls - зло.
Для единицы есть мод canonical.

[crazyASD]

Canonical стоит и работает.
Friendly URL`s отключу.

[ВладимирК]

Как бороться с дублями? Откуда они могли взяться?

А надо ли с ними бороться, пусть роботы индексаторы сами фильтруют.
=======================
Мне пришлось такой текст ставить. То есть можно всё и всем.
-----------------------------------------
User-agent: *
Crawl-delay: 60

[Yworld_garry]

А надо ли с ними бороться, пусть роботы индексаторы сами фильтруют.
=======================
Мне пришлось такой текст ставить. То есть можно всё и всем.
-----------------------------------------
User-agent: *
Crawl-delay: 60

Никому не ставить себе на проекты приведенное ВладимирК, это его личный выбор !!!! 

[maestrosite.ru]

Никому не ставить себе на проекты приведенное ВладимирК, это его личный выбор !!!! 

У меня есть разногласия с Yworld_garry, но в этом вопросе я с ним категорически согласен.

[ST]

пусть роботы индексаторы сами фильтрую

Проиндексируют и наложат фильтр. На форум. Это же такая помойка в выдаче будет если все проиндексирует...

[ВладимирК]

И что такое по индексации? В Яндексе:
videokino.org Загружено роботом 758   Страниц в поиске 1

[GeorG]

439 Сообщений в 57 Тем

Ну в Яндексе-то у вас 2 страницы.

[Yworld_garry]

И что такое по индексации?
videokino.org Загружено роботом 758   Страниц в поиске 1

Если так давно, то АГС, да собственно пройдясь по форуму 1 минуту я не нашел уника и только девиз "Ни о ЧЁМ и Обо ВСЁМ"
Там походу не видит яндекс что включать в индес или так подаете, не углублялся.

А помня ваши эксперименты, не удивлюсь фильтру от ПС.

[ВладимирК]

АГС нет. 1. Сначала добавляем главную страницу сайта. Если она добавилась, то спокойно можно констатировать, что "БАНа" у сайта нет.
2. После этого можно добавить любую внутреннюю страницу сайта. Если страница добавилась, то нет и "АГС".

==Адрес http://videokino.org/index.php?board=29.0 успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска.==

[Yworld_garry]

Уже как пару лет яндекс не показывает бан сайта при добавлении и фильтры и тд и тп.
Так что вот.

[Жека]

Адрес http://videokino.org/index.php?board=29.0 успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска

Они обещают, что страница будет проиндексирована, но попадет она или нет в поисковую выдачу, решают алгоритмы поисковика.

Надпись "станет доступным для поиска" -- имеется ввиду то, что, не проиндексировав эту страницу, поисковик вообще о ней ничего не знает и её, естественно, не будет в результатах поиска.
Как только проиндексирует (а вернее, после обновления поисковой базы, что у яши происходит где-то 1 раз в неделю), то страница ВОЗМОЖНО появится в результатах поиска

[remingtone]

может кому пригодится. зашел в гугл ВМ, в проверку роботс - и офигел 

а я думаю, откуда мусорные страницы в выдаче... причины не понятны, доступ к роботс есть, отправил на индексацию...

[Travys]

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*go.php
Host: www.videokino.org # зеркало определите прочитав ман который я дал по ссылке

User-agent: Slurp
Crawl-delay: 100

Поставил этот роботс, но к сожалению, ситуацию не спосло По прежнему 100 страниц в индексе только. Исключено 2400. всего загружено 2500.
Такая же ситуация и с гуглом. 86 страниц всего в выдаче.

[Yworld_garry]

Исключено 2400. всего загружено 2500

Я ответил вам в темке индексация, но напишу еще раз.
Посмотрите какие загружены и какие исключены. При правильной установке и правильном файле, проблем с нужными страницами в индексе не должно быть.
Поставьте карту сайта, посмотрите на свой контент, подумайте что может добавить кроме картинок и пары фраз.
Если все правильно то проблем не будет.
В гугле у вас 1200 страниц, а без соплей 85, стоит добавить контента не из двух фраз и если темы живо обсуждаются, они залетают в индекс за 15 минут.

[Travys]

Т.е лучше сделать акцент на уже созданных темах? Чтобы в них активность была больше. Не стоит штамповать новые? Я правильно понал вас?)

[Yworld_garry]

Стоит сделать или точнее иметь живое обсуждение интересной темы и тем новых или старых не суть. Но если обсуждение не живое на форуме и появляется пару букв в день, то и бота не будет на сайте или он просто будет очень редко посещать и проходить по новым страницам.
Я написал вам в вашей теме о индексации насчет внешних факторов. Сейчас ради эксперимента закину проведу трансляцию вашего сайта или темы какойнить если найду интересную по разным соц сервисам и тд. Посмотрим как и что будет, думается эффект вы увидите сразу))

[Yworld_garry]

Ну собственно вот вам и эффект.
Проверил что этой темы нет в индексе яндекса никаком http://beautyforum.by/index.php?topic=600.0
Теперь она там есть.
Рекомендация для вас, внесите ботов яндекса в список поисковых систем в админке. Тут есть как правильно записать или смотрите логи и вносите с юзерагентами.

[Travys]

Т.е лучше сделать акцент на уже созданных темах? Чтобы в них активность была больше. Не стоит штамповать новые? Я правильно понал вас?)

Т.е из-за трафика вы имеете ввиду? Тему прочитали люди и она в индексацию попала?

Ну собственно вот вам и эффект.
Проверил что этой темы нет в индексе яндекса никаком http://beautyforum.by/index.php?topic=600.0
Теперь она там есть.
Рекомендация для вас, внесите ботов яндекса в список поисковых систем в админке. Тут есть как правильно записать или смотрите логи и вносите с юзерагентами.

В адмнине форума внести вы имеете ввиду?

[Yworld_garry]

Ту тему я прогнал быстренько по соц сервисам всевозможным и она попала в видимость яндекса и сразу проиндексировалась.
Есть смысл вам поставить автопостинг по например твиттеру и фейсбуку и будет индекс более быстрый.
Да в админке форума внести в управлении ботами. Добавить новых, обозвать и записать юзерагенты.

Вот яндекс боты:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — индексатор Яндекс.Картинок;
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) — индексатор Яндекс.Видео;
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) — робот, индексирующий мультимедийные данные;
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — робот поиска по блогам, индексирующий комментарии постов;
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)— робот, индексирующий пиктограммы сайтов (favicons);
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)— робот, обращающийся к странице при добавлении ее через форму «Добавить URL»;
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)— робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»;
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) — робот мобильных сервисов;
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса;
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией;
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) — робот Яндекс.Метрики;
Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) — робот Яндекс.Новостей;
Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) — «простукивалка» Яндекс.Новостей. Используется для проверки ссылок из новостных материалов;
Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге;
Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) — антивирусный робот, который проверяет страницы на наличие опасного кода.
Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Закладок. Используется для проверки доступности страниц, добавленных в закладки.
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) — «простукивалка» быстрых ссылок. Используется для проверки доступности страниц, определившихся в качестве быстрых ссылок.
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots)

[Сапожник]

Да в админке форума внести в управлении ботами. Добавить новых, обозвать и записать юзерагенты.

А какой смысл их обязательно вносить в базу? В чем разница, что они будут шариться обыкновенными гостями?

==================
А то, что некоторые ко мне за четыре месяца существования не заходили, это нормально или нет?
Я понимаю, что  директу, каталогу, я нафиг не нужен, но могли бы хотя бы ради приличия заскочить

[Yworld_garry]

1. Смысл в том, что не будут им сессии выдаваться в урле и будут индексить то что надо, а не то что мусор и закрыто.
2. Не нормально, хотя я не знаю о каких речь, не знаю есть ли на форуме жизнь и вообще что то для ботов.
3. Делайте автопостинг по соц сервисам и тд, если все норм на форуме и открыто для индекса, то будут и боты.

В этой теме все что касается  роботс, остальные вопросы, в новые темы.

[remingtone]

каталог просто так не заскочит. только за 14700 руб

[kid_a]

Скажите, длина роботс имеет значение?
Что-то длинноватый получился, хотя проверку на валидность в яндексе проходит...

Код Выделить Развернуть


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /forum/go.php
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*search
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Allow: /index.php?option=com_xmap&view=xml
Allow: /forum/index.php
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Host: rodim.by
Sitemap: http://rodim.by/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Sitemap: http://www.rodim.by/forum/index.php?action=sitemap;xml
может, что-то можно вычеркнуть?
Главный сайт на джумле, я так поняла, что файл для них должен быть общий...

З.Ы. И обязательно ли менять что-то в индекс.темплейт?

[Yworld_garry]

Ограничения есть по весу файла, но его не просто нарушить))
А ваш файл как то не логичен на первый взгляд. Что то для сайта, потом для форума, потом опять для сайта. Да и для форума зачем городить такое. Есть ведь в этой теме рабочий. и как им управлять если нужно и тд.

[kid_a]

Спасибо за ответ
Для форума - все отсюда: http://www.simplemachines.ru/index.php?topic=5089.msg33232#msg33232
Лучше из первого поста взять?

Логичность для поисковиков имеет значение?

Так лучше?

Код Выделить Развернуть


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /forum/go.php
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*search
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Allow: /index.php?option=com_xmap&view=xml
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Allow: /forum/index.php
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*board=
Disallow: /forum/*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*.new
Disallow: /forum/*printpage
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Allow: /forum/*topic=
Disallow: /forum/*unread
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Host: rodim.by
Sitemap: http://rodim.by/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Sitemap: http://www.rodim.by/forum/index.php?action=sitemap;xml

Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
это одно и то же?

[Yworld_garry]

Можно из этой темы из заглавного поста.
От логичности зависит правильно поймет бот его или нет и что все заложенное работает как надо.
и кроме яндекса еще надо проверить в панели гугла. А то у вас тут всяких правил с символами много.
И проверить последовательно что все урлы которые тут пытаетесь закрыть открыть отрабатывает.

[kid_a]

Второй вариант - из первого поста с дополнениями...
Проблема в том, что для джумлы хорошо бы закрыть index.php, но при этом как-то forum/index.php оставить открытым... Или придется делать ссылки на форуме ЧПУ, чего бы не хотелось, стандартные вполне устраивают
Открывать индекс.пхп вообще тоже не хочется...

В панели гугла - это "посмотреть как гуглбот", проверти роботс я там не вижу... Получилось, что не индексирует он ничего, пишет, что запрещено в роботс.
А яндексовский бот к нам не приходил еще, у яндекса есть только главная страница сайта. Проверки конкретных урл я там, напротив, не вижу, в роботсе ошибок не видит...