Синдром одной страницы. Яндекс.

[VargWolf]

Здравствуйте! Искал, искал тут на форуме, но так и не нашел.

Проблема заключается в том, что Яндекс оставил в индексации только одну страницу моего форума. Остальные исключил.
Проверил на бан - нету, всё ОК, проверил на возможность индексации страниц - пишет, что всё отлично, страницы разрешены. Вебмастерам Яндекса написал. Ответа пока нет.

Что делать?

Вот правила robot.txt:

______________________
User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap: http://russianminer.ru/index.php?action=kitsitemap;xml
Host: russianminer.ru


User-agent: Slurp
Crawl-delay: 100


User-agent: Twiceler
Disallow: /


User-Agent: W3C-checklink
Disallow: /
______________________



PS: при этом Гугль индексирует форум хорошо, и даже присвоил PR=3;

Ссылка на форум - http://russianminer.ru/

[Жека]

Подключите свой сайт к Я.вебмастер, зайдите в него и посмотрите, возможно станет понятнее почему так.

P.S. Да уж, ботов у вас в юзерах выше крыши.

[VargWolf]

Сайт подключил к вебмастеру - выше писал уже про данные из вебмастера - то, что яндекс может индексировать страницы.

Боты - отдельная история - я уже ни знаю как бороться, поэтому:
1. Установил лимит в 1 сообщение для создания новых тем (теперь хотя бы не спамят);
2. Все их ссылки сделали неиндексируемыми (чтобы толку не было);
3. При регистрации убрал возможность указывать свой сайт - профили у них пустые абсолютно (если в ручную позже конечно не добавят, но и от этого толку для них не будет);
4. Удалять их уже зае.. надоело в общем..

А они всё регистрируются, причем в огромном количестве, хотя толку то нету им от этого...
Откуда идут я даже понять не могу...

[Yworld_garry]

Удалите карту сайта из панели вебмастера и добавьте ее по новой. Если через указанный срок она все еще будет висеть в статусе обработка, то скорее всего АГС. Понадобится массированная работа над проектом, письма платону и тд.
Но возможно все гораздо проще, в этот ап вы не один у кого повылетало все, восстановится с ходом "устаканивания" выдачи. Алгоритмы оценивания тех же форумов и блогов на полезность и присутствия их в выдачи изменяются. Единственно не понятны критерии оценки, полезность пользователям или яндексу.

Проверьте в админке, с борьбой с ботами спамеров, вы не запретили ли ботам пс просмотр тем, они в группе пользователи по моему у вас.

Еще один не маловажный момент. Если количество "технических" слов и словочатаний на форуме равно или чуть меньше чем полезный контент. А с точки зрения пс яндекс полезного контента должно быть много на каждой отдаваемой ему странице, огромная вероятность АГС и до лучших времен.

Такс, сейчас покапавшись в выдаче причина вроде есть, точнее одна из причин. На вас идет куча ссылок с профилей на профили у вас, на опять же профили у вас и все страницы удалены. Я так понимаю удаляли вы профили спамеров. Так вот ваш форум попал в базу какогнить хрумера и еще чегонить и спам ведется по полной. Очень возможен такой вариант, боты массово переходят по ссылкам с чужих профилей на ваш форум и натыкаются на зпрет и дальше естественно не идут, получаем замкнутый круг. Надо подумать куда или как переадресовывать со страниц пустых профилей или еще что нить, пока только мысли.
Имеет форум кучу ссылок на страницу ошибки и соответственно с малым весом самого форума вполне возможна такая ситуация.

PS
Очень приличные проекты вылетели под чистую, сам вчера смотрел, ребята урлы скидывали. А там были сотни тысяч страниц.

[VargWolf]

   По поводу основных моментов написал в ЛС, так как остальным я думаю будет это не интересно. Доступ в админку у Вас, я его пока не менял - можете посмотреть что там и как...

   Теперь поговорим про моменты, которые возможно будут интересны не только мне, и возможно пригодятся в будующем ребятам с этого форума:
1. Как могут внешние ссылки вести на профили? Я что-то не пойму....
2. Что касается профилей - да, спамеров удалял, так как их просто огромное количество..
3. Если мой форум попал в базу, то как сделать, чтобы его оттуда убрать или сделать, чтобы спамеры на него не ссылались?
4. По поводу переадресации - есть у мну один сайтик, "сляпаный" за полчаса - может туда их и направить. Блог из 3-х страниц, ничего из себя не представляет - может на него зарулить. На блог пофиг, да и посещаемость у него будет какая то (качество вообще не важно будет, так как вообще не решил что с ним делать)...

Может всё же это глюк яндекса? Ведь Гугль то продолжает индексировать, и добавлять новые старницы.....

PS: нашествие ботов началось после того, как Гугль присвоил сайту PR=3 (кстати он уже больше месяца держится).

[Yworld_garry]

Вы такие профили регистрируете?
http://forum.nfsworld.ru/index.php?action=userinfo&user=168095
Удалить скорее всего ни как. Кстати нашел одну из баз сходу и на паблик и на слив ее. Не смотрел что это, но ваш форум там.
Мысль здравая с переадресацией, но думаю лучше траф оставить на форуме.

[VargWolf]

Вы такие профили регистрируете?

Впервые вижу. А кому вообще интересно и есть смысл использовать мой УРЛ для регистрации.. В чём смысл? Если прогон по профилям, то обычно свой профиль указывают, а не чей то..
Ника такого нет, так что не мог его зарегистрировать даже случайно..

[Yworld_garry]

Схема проста как три копейки.
Регаются профиль у вас и на другом проекте со ссылкой на профиль на вашем. Вы посмотрели профиль на своем, все чисто нет ссылочек на сайты и вроде он пустой, оставили.
Через какое то время, профиль отстоялся и делается еще прогон который добавляет на ваш сайт в подготовленные профили кучу ссылок на всякие стремные ресурсы.
Вот и все, пс переходя по ссылке из профиля со стороннего ресурса на ваш индексирует все новые ссылки и тд.

[VargWolf]

Какие есть методы защиты от сего явления? Ведь я правильно понимаю, если база, то сайтов много и соответственно я не один такой...

[Yworld_garry]

Следить за профилями на своем форуме. Поставить ограничение на создание подписи, например после 10 сообщений, мод. Поставить мод редиректа. Закрыть профили от гостей и пс.
Но к сожалению только это, повлиять на появление в базах нет возможности. По этому подумать о переадресации трафа с удаленных профилей по 301 редиректу на какие то целевые страницы.

[VargWolf]

По этому подумать о переадресации трафа с удаленных профилей по 301 редиректу на какие то целевые страницы

Как это можно сделать?

[Yworld_garry]

Как это можно сделать?

Пока не знаю как сделать редирект, но для перенаправления ботов надо сделать или добавить к надписи "Пользователя не существует" ссылки на разделы форума или темы.

В личке.

[VargWolf]

Хорошо, благодарю!
Ну а по поводу "синдрома одной страницы" наверное придётся подождать. Там видно будет.

[VargWolf]

В общем дождался ответа платонов. Пишут - всё ОК, форум ОК, почему так получилось - не знаем....

Вот их ответ..

Мы проверили, сейчас никаких проблем с Вашим сайтом с нашей стороны нет, с ним все в порядке. В настоящее время невозможно выяснить, почему Ваш сайт отсутствовал в поиске, так как мы не храним подобную информацию. В ближайшее время он должен начать индексироваться и затем сможет появиться в поиске. Скорее всего, это произойдет в течение двух недель. Пожалуйста, дождитесь окончания указанного срока.

Сегодня +9 страниц проиндексировалось.
Не - ну в самом деле - как так то - вылетели без причины все страницы из поиска! Теперь заново индексироваться.....Больше тысячи страниц было!

[Yworld_garry]

Привыкайте к яндексу, еще не такое возможно.
Но что бы обезопасить себя от таких пертурбаций, постарайтесь укрепить внешнюю ссылочную базу...

[VargWolf]

Как её укрепить?
Я так понимаю - Сапа+статьи-Миралинкс+вечные ссылки?

[Yworld_garry]

Я так понимаю - Сапа+статьи-Миралинкс+вечные ссылки?

Направление правильное.

[VargWolf]

Yworld_garry в личку напиши - какие из этих способов (или ни этих) будут лучшими для получения ссылок на ресурс.