Индексация форума Гуглом

Солярис · 27 ноября 2009, 20:07:24

Всем доброго времени суток!

Интересует следующий момент. Гугл как-то странно индексирует страницы форума.
Адреса индексированных страниц получаются следующего вида (цифровые значения взяты условные): http://www.сайт.ru/index.php?topic=4444.msg11111

Интересует вот этот аппендикс ".msg11111".
Почему страница сохраняется именно с подобным адресом, который изначально не генерируется движком форума?
Во-первых, не понятно откуда Гугл вообще взял адрес с окончанием ".msg11111", когда индексируемая тема имеет адрес с окончанием ".msg11222".
Во-вторых, полный адрес такой страницы должен быть следующий: http://www.сайт.ru/index.php?topic=4444.msg11222#msg11222

Наконец, не понятно, почему не индексируется самый простой в этой цепочке адрес: http://www.сайт.ru/index.php?topic=4444.0

Заранее спасибо за высказанные мнения и ответы.

Yworld_garry · 27 ноября 2009, 21:38:24

Если речь про сайт из профиля, то просто проверьте урлы в панели гугла.
В вашем роботс разрешены всевозможные дубли и откуда и что генерит боту, а точнее что он ухватил не посмотришь.
Не индексирует самый правильный вариант, по той же причине. Он уже ухватил какой-то текст из топика и остальное содержащие этот же тест, по его мнению дубли, он их выкидывает.

Солярис · 27 ноября 2009, 22:14:10

Что Вы именуете дублями?

Это адреса с msg?

Yworld_garry · 27 ноября 2009, 22:14:48

Именно их

Солярис · 27 ноября 2009, 22:26:34

Если эти адреса якобы дубли, то каким образом поисковик будет индексировать последующие (после первого) сообщения в созданной теме?
Ведь по логике роботс.тхт, указав в нем запрет на индексирование адресов с msg, поисковик будет индексировать в теме только содержание первого сообщения.
Кроме того, не понятно в этом случае, как поисковик будет индексировать тему с содержанием в несколько страниц.

Yworld_garry · 27 ноября 2009, 22:33:21

Вроде это мы уже обсуждали и в той теме даны все исчерпывающие ответы.
По вашей логике заходя на сайт бот видит заголовок первого попавшегося предложения и не сканит дальше.
Не видит ссылок на другие страницы, просто тупо уходит.
Попробуйте открыть страничку исходный код. И посмотрите, там нет ни чего мешающего сканить весь текст.

И напишу ещё раз. Посмотрите код ДЕФОЛЕНОГО форума. Там все эти дубли закрыты. Или это случайно разработчики зделаи.
И скажу по секрету, такие дубли закрыты по дефолту на всех скриптах форумов.

Солярис · 27 ноября 2009, 23:44:19

Спасибо за информацию.

genix · 30 ноября 2009, 15:07:14

<капитан_очевидность_мод>
Ваше окончание msg - это ссылка на определенное сообщение в теме (от англ. "message").
</капитан_очевидность_мод>

Тема сама имеет соответствующий адрес без этого окончания, который ведет на первую страницу. Если страниц больше, там генерируется уже другой аппендикс
Почему нет в индексе ссылок с #msg - потому что решетка обозначает ссылку внутри документа.

Зарпет индексации для гугла страниц с содержанием в ссылке ".msg" возможно решит вашу проблему. Про то как это сделать - в соседней теме про роботс.

Почему гугл цепляет именно ссылки с месаджами - потому что на главной и в списке разделов чаще всего имеются "Последние сообщения в темах", которые как раз таки ведут не на просто тему, а на последнее сообщение. Можно попытаться на программном уровне для гостей вообще отключить такие ссылки, но не уверен в правильности этого действия.