Проблема с индексацией Яндексом

[Nik]

Заметил, что форум (www.__forum.megabyte-web.ru) не индексируется Яндексом.

Проверил через Webmaster:

Число загруженных страниц: 15734
Страниц в индексе: 2

При этом Гугль индексирует нормально:http://www.google.ru/search?filter=0&q=site:forum.megabyte-web.ru/%20|%20site:www.forum.megabyte-web.ru/
(хотя и далеко не все страницы в индексе)

Вот содержание файла Robots:

User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*all

User-agent: Slurp
Crawl-delay: 100

# Боты вредные и не нужные
# Могут проигнорировать запрет
User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

Sitemap: http://www.__forum.megabyte-web.ru/sitemap.xml

В чём может быть проблема? Кто-нибудь сталкивался с похожей ситуацией? На форуме не нашел ничего, что бы могло помочь...

[Yworld_garry]

Посмотрите что там с кодировкой, походу траблы.
На самом деле весь megabyte-web.ru  практически не индексируется яндухом.
Приду с работы гляну. Напомните в личку.

[Nik]

Посмотрите что там с кодировкой, походу траблы.

Кодировка прописана чётко: <meta http-equiv="Content-Type" content="text/html;charset=UTF-8" />. С отдачей проблем нет - во всех браузерах всё корректно отображается.
Кстати, проверял через Я.Webmaste корректнгость Robots.txt - все страницы должны индексироваться, запретов нет.

На самом деле весь megabyte-web.ru  практически не индексируется яндухом.

С основным сайтом проблем нет: "страниц в индексе: 5245" (примерно соответствует числу страниц, разрешённых к индексации).

[Yworld_garry]

Это то что пишет панель вебмастера яндекса. А стоит посмотреть на выдачу в ПС.
Насчет кодировки, откройте исходный код странички в браузере например, в любом топике.

[Nik]

Это то что пишет панель вебмастера яндекса. А стоит посмотреть на выдачу в ПС.
Насчет кодировки, откройте исходный код странички в браузере например, в любом топике.

С выдачей тоже всё нормально (для основного сайта): http://yandex.ru/yandsearch?text=%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9%20%D0%BC%D0%B5%D0%B3%D0%B0%D0%B1%D0%B0%D0%B9%D1%82&pag=u&surl=megabyte-web.ru&lr=46&7b8b93a9ed92d560c49e28f7fde968aa

Кодировка в коде страниц форума - в норме (проверял в Opera 10).

[Yworld_garry]

Например вот эта темка, посмотрите что в страничке.
http://www.forum.megabyte-web.ru/index.php/topic,2053.msg17735.html#msg17735
В любом случаи раньше вечера не смогу ни чего больше подсказать.

[Yworld_garry]

Странно через раз выдает кодировку нужную. Может у меня тут тупит что то.
Вечером если напомните проанализирую по выдаче и тд и тп.

[Nik]

Это последствия конвертации базы в UTF-8 при переходе на SMF2.0 beta (конвертировал средствами движка). В более свежих темах таких косяков нет, но они тоже не индексируются.

Вечером - это по какому времени (в Кирове - время московское)?

[Yworld_garry]

Время в Питере так же московское.
Посмотрю на предмет всяческих фильтров.

[Yworld_garry]

Всё что вижу в индексе
http://yandex.ru/yandsearch?surl=www.__forum.megabyte-web.ru&pag=u&numdoc=50&rd=0&lr=10174

Проблема есть и проблема скорее всего именно в в верхнем меню. Я уже писал и не раз, яндекс очень плохо относится к тегу noindex.
Тут он стоит первым до всего контента и по ходу как обычно он не видит закрытый.
Советую срочно убрать и заменить на редирект, который закрыть уже в роботс. Собственно все внешние туда. сейчас стоят как то они перманентно, половина закрыта от яндуха, половина от гугла.
Кидайте в корень любой вариант редиректа и уже все внешние на него. И яндекс вернёт странички, проверено.

Так сказать первй взгляд, если через ап не поправится, будем капать. Но думаю проблема в этом.

[Nik]

Спасибо за совет, попробую убрать noindex и спрятать внешние ссылки за редиректом.

[Nik]

Убрал noindex из шапки, уже два апа выдачи прошло, но никаких изменений не вижу. Какие ещё могут быть причины?

[Yworld_garry]

Напомните вечерком, попробую дальше посмотреть.

[Nik]

Напомните вечерком, попробую дальше посмотреть.

Напоминаю (надеюсь, на сегодня ещё не поздно )

[Yworld_garry]

Платону писали?
Если нет напишите и тогда уже будем смотреть так сказать тематически.

[Nik]

Платону писали?
Если нет напишите и тогда уже будем смотреть так сказать тематически.

Только что отписал. Как придёт ответ - сообщу.

[Yworld_garry]

Да сразу отпишите, а я пока посмотрю по пристальнее за вашим проектом, возьму по больше параметров для проверки.

[Nik]

Да сразу отпишите, а я пока посмотрю по пристальнее за вашим проектом, возьму по больше параметров для проверки.

Спасибо!

[Nik]

Получил ответ от Платона:

Сейчас с Вашим сайтом все в порядке, в ближайшее время он должен начать
индексироваться и затем сможет появиться в поиске. Скорее всего, это
произойдет в течение двух недель.

Пока что никаких изменений не наблюдаю. Посмотрим, что будет через пару недель.

[ig0r]

Доброго времни суток!
А кто может подсказать по каким ай-пи адресам ходит на форум яндекс???

Заранее спс!

[BIOHAZARD]

А кто может подсказать по каким ай-пи адресам ходит на форум яндекс???

ну каг бе там несколько тысяч айпишников (по словам тех, кто этим сильно интересовался)

[Mavn]

хуиз в помощь

[BIOHAZARD]

хуиз не поможет
там только данные по доменам яшкиным, но не по паукам

на сраче народ поднимал уже тему, по состоянию на 2008 год в базе яшкиных адресов было около 4.8 тыс. IP, тырнет растёт, так что пауков вряд ли меньше за это время стало

IP эти периодически меняются, на разные сайты ходят разные пауки, плюс есть анонимные простукивалки, которые заходят на сайт инкогнито и сверяют информацию с той, что отдавалась паукам, так что уследить довольно сложно

[Nik]

После сегодняшнего апа выдачи часть страниц в индекс таки вернулась. Будем надеяться, что вернутся все Спасибо за советы