Google странно индексирует форум

[crazyASD]

Добрый день, уважаемые форумчане!

Смотрю я в Google webmaster tools и вижу очень плохие результаты нахождения страниц форума в индексе - всего 2!!!

Robots.txt вот такой:

Код Выделить Развернуть

User-agent: *
Host: ____cadstudio.ru
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /files/
Disallow: /ad/
Disallow: /backup/
Disallow: /uploaded/
Disallow: /component/jfusion/
Disallow: /component/option,com_smf/
Allow: /forum/*type=rss
Allow: /forum/*action=media
Allow: /forum/*action=forum
Allow: /forum/*sitemap
Allow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*PHPSESSID
Disallow: /forum/*calendar
User-agent: Mediapartners-Google
Allow: /forum/*index.php?action
Allow: /forum/*.new
Allow: /forum/*.msg
Allow: /forum/*.topicseen
Sitemap: http://____cadstudio.ru/sitemap.xml
Sitemap: http://____cadstudio.ru/forum/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

Форум соответственно сидит в /forum/
Стоит мод SMF Sitemap.

Сам гугл ругается на повторяющиеся страницы вроде:
/forum/index.php?topic=14185.0 /forum/index.php?topic=14185.15

Твиттеру и фейсбуку форум скормлен.

Заранее благодарю за советы!

[Bugo]

Файл неправильно составлен. К примеру, директиву Host вроде как понимает только Yandex, а Вы скармливаете её всем (User-Agent: *), да ещё и ставите в самом начале.

[crazyASD]

Понял, а еще какие пожелания будут?

[Bugo]

https://www.google.com/webmasters/tools/home?hl=ru

[crazyASD]

Сделал вот так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /files/
Disallow: /ad/
Disallow: /backup/
Disallow: /uploaded/
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Sitemap: http://__cadstudio.ru/sitemap.xml
Sitemap: http://__cadstudio.ru/forum/sitemap.xml

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /files/
Disallow: /ad/
Disallow: /backup/
Disallow: /uploaded/
Disallow: /component/
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Host: __cadstudio.ru
Sitemap: http://__cadstudio.ru/sitemap.xml
Sitemap: http://__cadstudio.ru/forum/sitemap.xml

User-agent: Mediapartners-Google
Allow: /forum/*index.php?action
Allow: /forum/*.new
Allow: /forum/*.msg
Allow: /forum/*.topicseen
Sitemap: http://__cadstudio.ru/sitemap.xml
Sitemap: http://__cadstudio.ru/forum/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

Единственное, гугл при диагностике находит и говорит только о первом сайтмапе.

PS. Надо было писать в общую тему про Robots.txt

[crazyASD]

Прошло три месяца, гугл схавал только 1 страницу.

[Yworld_garry]

Пациента в студию. Гадать и постить предположения нет время.
Я так понимаю это не из профиля сайтик?

[ceriel]

Host: ____cadstudio.ru

[Yworld_garry]

Выше я написал про сайтик из профиля.
Я не знаю как вы смотрите индекс в гугле. Но форум проиндексирован нормально. Копируем ссылочку и наслаждаемся.

http://www.google.com/search?q=site:______cadstudio.ru#q=site:http://______cadstudio.ru/forum/&hl=ru&prmd=ivns&ei=TdNeTb-zBous8AaDuYDwCw&start=0&sa=N&fp=3eeaa16bec77ac1f

[crazyASD]

Пациента в студию. Гадать и постить предположения нет время.
Я так понимаю это не из профиля сайтик?

Я читаю через Webmaster tools:

Sitemap    Статус    URL в интернет-индексе
/forum/sitemap.xml
   OK    1
/sitemap.xml
   OK    307