Пауки не могут просматривать форум

Plazik · 11 апреля 2009, 17:58:35

Решил сделать форум закрытым от гостей, но чтобы боты поисковиков могли просматривать форум.

Создал группу пользователей Пауки, в Назначить группу для пауков выбрал эту группу.
Для каждого раздела выбрал чтобы Пауки имели доступ к нему.

Но пауки могут просматривать только главную страницу (пробовал сам подменить user-agent и смотрел по активности ботов в Пользователи Online).
Что еще нужно сделать чтобы поисковики могли просматривать форум?

P.S. В правах доступа группы Пауки стоит 1, пользователей 0.
P.P.S. http://forum.ultimate-rihanna.ru/

CedarMill · 01 мая 2009, 16:56:42

Разве "поисковые пауки" могут зарегистрироваться на форуме, что бы его проиндексировать?

Plazik · 01 мая 2009, 17:20:46

Цитата: CedarMill от 01 мая 2009, 16:56:42
Разве "поисковые пауки" могут зарегистрироваться на форуме, что бы его проиндексировать?

Они могут просматривать форум, только вот почему то не работает эта функция и соответственно не могут его просматривать.

BIOHAZARD · 01 мая 2009, 18:06:42

Цитата: Plazik от 11 апреля 2009, 17:58:35
Решил сделать форум закрытым от гостей, но чтобы боты поисковиков могли просматривать форум.

А смысл?
Тогда все страницы в кэше поисковика будут 100% доступны. Кому надо – всё равно просмотрит.

Plazik · 01 мая 2009, 18:11:24

Цитата: BIOHAZARD от 01 мая 2009, 18:06:42
А смысл?
Тогда все страницы в кэше поисковика будут 100% доступны. Кому надо – всё равно просмотрит.

Многие кто посещает мой форум об этом не знаю и + не хочется терять посетителей с поисковиков.

BIOHAZARD · 01 мая 2009, 18:15:58

Всё это моветон
Я на таких форумах не регистрировался НИ РАЗУ, на сколько мне помнится.
Если я не вижу, что этот форум мне явно чем–то полезен, то зачем мне там регистрироваться и оставлять свои данные?

Plazik · 01 мая 2009, 18:24:55

Цитата: BIOHAZARD от 01 мая 2009, 18:15:58
Всё это моветон
Я на таких форумах не регистрировался НИ РАЗУ, на сколько мне помнится.
Если я не вижу, что этот форум мне явно чем–то полезен, то зачем мне там регистрироваться и оставлять свои данные?

Не про это разговор, а про то что функция в SMF 2.0 RC1 нормально не работает.

BIOHAZARD · 01 мая 2009, 18:29:19

У гугла вроде была возможность подсказать ему логин и пароль от закрытой области сайта
Насчёт яши не знаю, но и у него надо поискать

Простой · 11 мая 2009, 09:37:03

Посмотрите у вас в логах ошибок форума есть какие-нибудь отчёты связанные с проблемой?

Alexthelight · 17 августа 2009, 10:17:49

Тема не очень старая, подниму...

Столкнулся с такой же проблемой.

На форуме есть разделение разделов, открытых для гостей и для простых пользователей.

Для поисковиков создана отдельная группа и прописаны права как у простых пользователей. Но дальше гостей они ходить не могут!!!!

Сразу на вопрос - что гости смогут посмотреть в кеше информацию - пусть смотрят, не жалко.

Хочется чтобы поисковики нормально бродили по сайту доступному для зарегистрированных пользователей и его индексировали...

Alexthelight · 03 октября 2009, 04:14:18

Цитата: Alexthelight от 17 августа 2009, 10:17:49
Тема не очень старая, подниму...

Столкнулся с такой же проблемой.

На форуме есть разделение разделов, открытых для гостей и для простых пользователей.

Для поисковиков создана отдельная группа и прописаны права как у простых пользователей. Но дальше гостей они ходить не могут!!!!

Сразу на вопрос - что гости смогут посмотреть в кеше информацию - пусть смотрят, не жалко.

Хочется чтобы поисковики нормально бродили по сайту доступному для зарегистрированных пользователей и его индексировали...

Походу никто не сталкивался с этой проблемой....

coolscan · 15 декабря 2009, 19:34:57

Проблема существует. Паукам даны права обычных пользователей с доступом к закрытым разделам. Но в логах:

Yandex/1.01.001I    Сегодня в 17:46:59    Запрещено
Yandex/1.01.001I    Сегодня в 17:45:18    Запрещено
Yandex/1.01.001I    Сегодня в 17:43:56    Запрещено

Yworld_garry · 15 декабря 2009, 23:16:19

Ни как не пойму отношение этого всего к разделу СЕО.

Смотрите код, копайте эту фичу в форуме, проверяйте ипы которые разрешены/запрещены. Смотрите может юзер агент бота не прописан и тд.
Насколько я понимаю, разработчикам форума такой поисковик как яндекс не знаком в принципе и они ну ни как на него не ориентируются.

CedarMill · 17 февраля 2010, 22:08:05

Какой User Agent у "паука" Yandex?

Serifa · 24 октября 2010, 20:11:30

А у меня, как всегда, все наоборот)) Я прячу от пауков те разделы, которые открыты нормальным гостям.

Serifa · 13 марта 2011, 18:10:26

Кстати...
Разделы-то от них закрыты, так почему они их просматривают? По идее они вообще не должны видеть закрытый раздел,так? А они читают в нем темы! (Видно при просмотре, кто онлайн). Это ненормально.