Удаленные темы для гугла

onlineGM · 30 ноября 2010, 09:27:53

Приветствую форумчан.
Недавно столкнулся с такой проблемой. Имею форум на SMF 1.10, раньше особо его оптимизацией не занимался, но сейчас решил серьезно заняться. По яндексу все нормально индексируется, роботсом пользуюсь с этого форума. А вот с гуглом проблемы начались, даже не начались, они и были, просто я внимание не обращал. Просматривая индекс гугла, я обнаружил массу страниц с одинаковым содержанием и тайтлом "Войти", но разными урлами. Такие страницы образуются вследствие того, что гугл индексирует тему раньше, чем я успеваю ее удалить (в основном спам), когда он индексирует ее уже второй раз, его и редиректит на эту страницу с сообщением: "Тема или раздел, которую Вы ищете, отсутствует или недоступна для входа.
Пожалуйста, войдите или зарегистрируйтесь на Форум". Вот и образуется масса дубль-контента, проблема еще в том, что его просто так не удалить из панели вебмастера, т. к. для этого их нужно внести роботс.тхт. А Яндекс в этом отношении молодец! Проиндексировал только одну такую страницу, а остальные уже не пускает в индекс, как дубль. Может есть какое простое решение данной проблемы, а то задолбался вручную их удалять? Может как-то можно в шаблоне этой страницы в мета прописать роботс=ноиндекс или еще как-то?

Yworld_garry · 30 ноября 2010, 19:23:06

Проверьте robots.txt в панели гула. Все action запрещены строкой.
Disallow: /forum/*action

Но возможно вы смотрите не основной индекс, так в нем куча всякого хлама может быть наиндексенного и быстророботом и тд.
В основную выдачу если все правильно этот мусор не попадёт.
Можно поискать мод на оф он есть, отдает ПС страницы ошибок. ( не тестил и не скажу за правильность работы)

onlineGM · 31 июля 2011, 14:41:56

Тема до сих пор актуальна. Даже не знаю, что и делать... В основном индексе Гугла уже более сотни одинаковых страниц с заголовком "Войти" и разными УРЛ (от тем, которые были мной удалены).

Disallow: /forum/*action конечно присутствует, только я не понимаю, какое это имеет отношение к таким дублям? Вот например, была у меня тема с адресом site.ru/forum/index.php?topic=2347.0, я ее удалил, но урл, по крайне мере для Гугла, остался. Темы нет, а по этому адресу форма входа с сообщением: "Тема или раздел, которую Вы ищете, отсутствует или недоступна для входа. Пожалуйста, войдите или зарегистрируйтесь на форуме"! И вот таких вот дублей уже более 100 штук.

Может кто-нибудь подскажет решение? За вознаграждение, разумеется, скажем 10WMZ.

Bugo · 31 июля 2011, 17:08:41

А форум находится в поддиректории forum?

onlineGM · 31 июля 2011, 20:15:44

Цитата: Bugo от 31 июля 2011, 17:08:41
А форум находится в поддиректории forum?

Да. С роботсом все в порядке, Яндекс не жалуется.))

Bugo · 31 июля 2011, 20:57:30

Попробуйте мод Add an Apache Error Handler

onlineGM · 01 августа 2011, 08:34:15

Цитата: Bugo от 31 июля 2011, 20:57:30
Попробуйте мод Add an Apache Error Handler

Поставил мод - установился нормально, но настроек найти так и не смог...

Пробовал переключать темы и языки (мод же на английском), но так ничего и не нашел.
Удаленные темы все равно отдают заголовок HTTP 200 ok.

Bugo · 01 августа 2011, 09:14:29

Настроек там нет. Мод внёс изменения в .htaccess?

onlineGM · 01 августа 2011, 09:19:13

Да, внес. Но когда проверяю запросом удаленную страницу, она отдает ответ заголовока HTTP 200 ok, хотя по идее должна отдавать 404.

onlineGM · 01 августа 2011, 09:23:14

А это может быть связанно с тем, что я использую тему core, вместо стандартной?

onlineGM · 01 августа 2011, 11:06:11

Самое интересное, что даже страница http://site.ru/forum/index.php?action=error;code=404 выдает заголовок 200 ок.))