2 вопроса о пауках

[karavan]

Вот такие вызрели вопросики, анализируя раздел "Поисковые системы" админки...

1. По пути "Поисковые системы" - "Статистика" есть информация сколько хитов сделал тот или иной паук за каждый день. Но в принципе, зачем мне эта информация? Эти логи уже накопились на 132 страницах, и возможности удалить, например старые логи, в админке нет... Посему вопрос первый - в какой таблице БД хранятся эти логи, и можно ли её очистить, не приведёт ли это к нежелательным последствиям?

2. По пути "Поисковые системы" - "Настройки" есть возможность назначить группу для пауков (например назовём её Bots). Я назначил этой группе доступные разделы, отключив при этом все возможности типа "Просмотр календаря" и "Создание голосований". То есть доступен конкретно просмотр тем и сообщений в указанных мной разделах. Но в то же время в "Логах пауков" в том же разделе, я вижу что пауки просматривают только разделы и темы, доступные для "гостей", то есть если если тема невидна для гостей, то её не видит и паук, хотя для группы "Bots" она видима...
Отсюда второй вопрос - почему так получается, и можно ли сделать раздел (темы) видимыми для пауков, и не видимыми для гостей? Или это невозможно (либо бессмысленно)?

[Yworld_garry]

2. В мане написано(вольная интерпретация), механизм определения ботов и присвоения им групп и прав и тд, не совершенен и работает криво.
Соответственно даем группу пользователи и прописываем все возможные ограничение в robots.txt, canonical, закрываем от гостей всякий мусор типо профилей...
Так как это не запреты а рекомендации для ботов и выполняются конечно, но например гугл может в индекс сайта( не выдачу) насканить все что угодно. Это в выдачу возможно и не попадет, но навешает соплей на сайт и понижает его в основной.

1. Если логи вам не дороги для сердца, чистите их в базе, перед этим бекап сделайте. Таблицу найдете сразу как откроете базу)))

[karavan]

Более-менее понятно, спасибо.

[karavan]

Открыл несколько новых разделов для гостей, и по идее, для ботов. Но почему-то они уже больше суток игнорируют новые разделы, смотря только те, что были открыты раньше. Есть смысл просто ждать, или нужно искать причину?

[Mavn]

Посему вопрос первый - в какой таблице БД хранятся эти логи, и можно ли её очистить, не приведёт ли это к нежелательным последствиям?

не нужно лазить по таблицам все есть в админке
Админка - Логи - Очистка логов - Удалять записи в логе активности поисковых машин старше
указываете как часто чистить логи
или
Админка - Поисковые системы - Настройки - Уровень отслеживания поисковых машин
если поставить не отслеживать то скорее всего логи вообще вестись не будут

[Yworld_garry]

Тут видимо имелась ввиду "поисковые системы/статистика", а насколько я понимаю её из админки не удалить.

[karavan]

Mavn, Yworld_garry, да, всё именно так и есть, спасибо за внимание к моему вопросу . Но самое главное, что боты наконец-то увидели мои новые открытые для гостей разделы и проиндексировали их. Так что ждать пришлось около 3-х суток, но результат есть.

[plintus]

Скажите пожалуйста. Все ли поисковики ходят на форум как гости или они обходят эти ограничения?

[ST]

Тут видимо имелась ввиду "поисковые системы/статистика", а насколько я понимаю её из админки не удалить.

очистка таблицы smf_log_spider_stats скинет информацию о заходивших пауках

[GeorG]

Все ли поисковики ходят на форум как гости или они обходят эти ограничения?

Ходят как гости.