Индексация статей на портале

[philosopher]

На сайте в основном публикуются статьи стандартными средствами портала SimplePortal а не через форум и почему то поисковики их не индексируют. Возможно не правильный robots.txt, подскажите что стоит в нем поменять?

Код Выделить Развернуть

User-agent: Googlebot
Allow: /*sitemap
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap: сайт/sitemap.xml

User-agent: Yandex
Allow: /*sitemap
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap: сайт/sitemap.xml
Host: сайт

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

[Yworld_garry]

А какая ссылка на статьи или раздел со статьями? Приведите урл, иначе не понятно, закрыт или открыт...

[philosopher]

http://zadrivmoru.ru/index.php?page=page1163

[Yworld_garry]

Добавьте и проверьте в панелях яндекса и гугла.

Allow: /*page

хотя по идеи они открыты у вас и так.

[Yworld_garry]

хм, косяк не вроботс, только заметил, посмотрите код страницы, что урл привели, правой кнопкой и увидите вот такое

Код Выделить Развернуть

<link rel="canonical" href="http://zadrivmoru.ru/" />
Это уже надо разбираться почему так генерируется в портале.

а должно быть что то типо того

Код Выделить Развернуть

<link rel="canonical" href="http://zadrivmoru.ru/index.php?page=page1163" />

[philosopher]

 Yworld_garry не совсем вас понял, что нужно исправить? Может у кого была похожая проблема, кто знает как решить это?

[Yworld_garry]

В общем, для поисковиков этих страниц нет у вас, на что указывает тег, точнее он их клеит с главной страницей.
Как исправить...возможно есть решение на оф сайте портала, в чем я сомневаюсь.
Надо копать и смотреть почему так генерируется.
Это думаю у всех кто использует портал.

[Yarik]

У меня когда-то была страница в портале,но стояла отдельно.То есть при входе попадаеш на форум,но нажав на портал попадаеш туда - я ещё на эту страницу и тему отдельную вывел переписанную.Эта страница отлично индексировалась,на меня поисковики еще матюкались за дубли - на форуме и там.Потом принял решение отключить,для моего форума от этой страницы толку никакого...

[Yworld_garry]

Сейчас быстренько на оф форуме глянул, разработчикам указывали на это, но они устранились, а у себя просто отключили на страницах canonical 

[philosopher]

А кто знает может на других порталах такого нет? Какой портал можете посоветовать?

[Yworld_garry]

Попробуйте поставить и проверить что в этом моде http://dragomano.ru/page/custom-action-mod