форум на сайте, поисковики не видят

[And7777]

Добрый день всем, проблема такая, форум находится на сайте, пауки заходят часто, но у всех состояние- запрещено. В index.template.php все что нужно изменил, не работает, аднака. Помогите, плиз

[digger®]

Добрый день всем, проблема такая, форум находится на сайте, пауки заходят часто, но у всех состояние- запрещено. В index.template.php все что нужно изменил, не работает, аднака. Помогите, плиз

В robots.txt уберите запрет на индексирование форума.
И, кстати, robots.txt должен быть только один и лежать должен в корне сайта.

[And7777]

это в курсе, вот robots.txt
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php


User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php
Disallow: /*?*
Disallow: /*?
Disallow: /index.php
Crawl-delay: 2
Host: xn------8cdgcrcxgacyfsdejledd6ahlffjnddi6b7v.xn--p1ai

Sitemap: http://xn------8cdgcrcxgacyfsdejledd6ahlffjnddi6b7v.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml 
не помогает, что у меня не так? с SMF только начинаю работать.

[chilly86]

это в курсе

что в курсе? удалите robots.txt из папки forum

[And7777]

Спс, этот момент я как- то не проследил, посмотрим, что получится

[Yworld_garry]

Disallow: /index.php

И закрыли весь форум )))
Удачного выхода с праздников !!!

Хост слитно с блоком и сайт мап
Crawl-delay - через строку.

[GeorG]

Disallow: /index.php

И закрыли весь форум )))

Видимо товарищ хотел так - Disallow: /index.php$ но не дописал - $

[AlexSXL]

Здравствуйте, извиняюсь, что "занекропостил".
Добавил форум для сайта давно, недели 2 уже прошло, роботс.тхт нормальный, сайт на joomla 1.5
Проблема в том, что поисковики не индексировали ни 1 страницы. Форум пока что практически пустой (3-4 темы), но должны же они хотя бы зайти 1 раз.
Вот кусок роботса.
[spoiler]
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: */comprofiler/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: */mailto/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: */search/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*print=1
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/go.php

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /
[/spoiler]
Ах да, форум тут http://ne-zhalko.ru/forum/

[GeorG]

Поисковики видят форум (т.е., он для них открыт если судить по файлу robots.txt), две недели, это не так много, и да, за это время, могли бы уже по больше тем сделать (для разного обсуждения), а то у вас там "жизни" нет (т.е., простыми словами - народа вам не хватает). А поисковики на это здорово зациклены.

[AlexSXL]

Спасибо за ответ  А так форум сделал и занимался кастомизацией, правкой и прочим. Начну наполнять по-маленьку.