Появился мета тег meta name="robots" content="noindex".

[tmportal]

Добрый день.

Недавно заметил, что яндекс и гугл не индексируют некоторые страницы форума.
Яндекс указал, что некоторые страницы запрещены к индексации, а это главная страница портала (стоит PortaMX) и другие страницы форума.

Проверил исходный код, на этих страницах появился мета тег:
<meta name="robots" content="noindex" />

Я так пока и не понял, почему этот мета тег появился и запрещает некоторые страницы к индексации, и незнаю теперь как его убрать.
Может кто знает, из-за чего так получилось ?

Стоит несколько модов, один из них "Optimus Brave":
http://dragomano.ru/page/optimus-brave

Может это из-за него быть или нет?

Заранее спасибо за помощь.

[Макар]

Да. Надо внимательно читать описания модов.

[Bugo]

А список этих страниц привести можете? Хотя бы 10-20.

[Макар]

Там кстати, если ставишь фоллов индекс то не все так просто. Главную форума при установленных порталах надо отдельно разрешать к индексу .

и скорее всего запрещены урлы содержащие в себе акшены портала, так как они не учитываются рекомендованным роботс файлом.

[tmportal]

Да. Надо внимательно читать описания модов.

Да нет, все описания читаю, перед тем как ставить.

[tmportal]

А список этих страниц привести можете? Хотя бы 10-20.

Все ссылки примерного вида:
index.php/topic,22.msg24.html?PHPSESSID=9fecfcd866e4b69bc2dab00e46b4cf62
и т.д.
Я так понял, это наверное из-за настройки: "Разрешить дружественные URL".
Эта галочка включена.

И абсолютно на всех страницах портала стоит такой запрещающий мета тег.

[Макар]

Да нет, все описания читаю, перед тем как ставить.

это читали ? http://forum.dragomano.ru/index.php/topic,8.30.html#
если бы читали , то не было бы криков

Проверил исходный код, на этих страницах появился мета тег:
<meta name="robots" content="noindex" />

Я так пока и не понял, почему этот мета тег появился и запрещает некоторые страницы к индексации, и незнаю теперь как его убрать.
Может кто знает, из-за чего так получилось ?

[tmportal]

это читали ? http://forum.dragomano.ru/index.php/topic,8.30.html#
если бы читали , то не было бы криков

Я не кричал, а спрашивал.
Спасибо за эту ценную информацию.
В описании мода этой информации не было, поэтому и не знал.

[Макар]

проехали

покажи свой роботс
и урлы которые не проиндексированы и запрещены

[tmportal]

проехали

покажи свой роботс
и урлы которые не проиндексированы и запрещены

Прочитал статью:
http://forum.dragomano.ru/index.php/topic,8.30.html

Если я правильно понял, то тег <meta name="robots" content="noindex" />
больше не убирается модом, и нужен для предотвращения дублирования контента.

Но, у меня сейчас стоит портал PortaMX, и все его страницы остались с этим мета тегом:
<meta name="robots" content="noindex" />
Все созданные страницы портала не индексируются.
И главная страница тоже не индексируется, попала в запрет в яндексе этим тегом.

Незнаю на сколько я правильно щас сделал, кто знает, поправьте тогда пожалуйста.
В файле "Themes\index.template.php" убрал:
<meta name="robots" content="noindex" />
и вставил "<meta name="robots" content="index, follow" />".

Файл robots.txt следующий:

Код Выделить Развернуть

User-agent: *
Allow: /*action=forum
Allow: /*action=portal
Allow: /*action=teampage
Allow: /*board
Allow: /*topic
Allow: /*spage
Allow: /*rss
Disallow: /*action=help
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID

User-agent: Yandex
Allow: /*action=forum
Allow: /*action=portal
Allow: /*action=teampage
Allow: /*board
Allow: /*topic
Allow: /*spage
Allow: /*rss
Disallow: /*action=help
Disallow: /attachments/
Disallow: /avatars/
Disallow: /cache/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*action
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Host: мой сайт.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: MSNbot
Crawl-delay: 120


Команду "Allow: /*spage" прописал сам уже, ее не было, чтобы индексировались страницы портала.

[Bugo]

Но, у меня сейчас стоит портал PortaMX, и все его страницы остались с этим мета тегом:
<meta name="robots" content="noindex" />
Все созданные страницы портала не индексируются.

До установки мода этого тега на страницах портала не было?

Все ссылки примерного вида:
index.php/topic,22.msg24.html?PHPSESSID=9fecfcd866e4b69bc2dab00e46b4cf62

Строчка, запрещающая индексацию подобных страниц, указана в robots:

Код Выделить Развернуть


Disallow: /*PHPSESSID

Почитайте этот форум и узнаете, зачем эта строчка и что она запрещает.

[tmportal]

До установки мода этого тега на страницах портала не было?
Строчка, запрещающая индексацию подобных страниц, указана в robots:

Код Выделить Развернуть


Disallow: /*PHPSESSID

Почитайте этот форум и узнаете, зачем эта строчка и что она запрещает.

По поводу

Код Выделить Развернуть

Disallow: /*PHPSESSID прочитал, спасибо, они не нужны в индексе.
Остается проблема, что все страницы портала с тегом

Код Выделить Развернуть

noindex.

Смоделировал на локальном сервере, поставил форум, поставил сразу портал, моды не ставил.
Да, на всех страницах портала стоит тег:

Код Выделить Развернуть

<meta name="robots" content="noindex" />

Если разработчики не рекомендуют этот тег менять, тогда непонятно, как сделать, чтобы
все страницы портала попадали в индекс ?

[Bugo]

Подобная тема уже обсуждалась на форуме разработчиков => http://portamx.com/topic_897.msg10381.html#msg10381

[tmportal]

Подобная тема уже обсуждалась на форуме разработчиков => http://portamx.com/topic_897.msg10381.html#msg10381

Спасибо.