Дружественные url для отображения поисковым системам

[Roman]

Ситуация: Когда-то очень давно на форуме были включены "Дружественные url", шли годы, сайт развивался, и соответственно, очень многое сейчас завязано на них. Внутренняя перелинковка, всякие доработки, и внешние ссылки. То есть, отключать "Дружественные url" сейчас, и менять все чересчур трудозатратно, да и в целом, проблематично.
Однако, как наверняка, многие знают, для поисковых систем страницы отдаются без дружественных url, в обычном формате. Есть подозрение, что из-за этого несоответствия, индексация страниц может быть хуже.
К тому же, тег link rel="canonical" прописывается с учетом включенных дружественных url, и соответственно, ведет на адрес, который ПС не видит.

Вопрос: Как было упомянуто, отключение "Дружественных УРЛ" в настоящий момент проблематично.
Можно ли как-то исправить эту функцию таким образом, чтобы и для поисковых систем страницы отдавались в формате "Дружественных УРЛ"?

И если можно, то хотя примерно, где ковырять? Урл, судя по всему, формируются с помощью QueryString.php. Но что конкретно править в этом файле, не совсем понятно.

[maestrosite.ru]

Это где для ПС отдаётся в обычном формате при включённых "дружных"? И почему ПС такие адреса не видит?

[Roman]

Насчет не видят, не совсем правильно выразился. Правильнее сказать, при посещении адреса, сформированного с помощью "дружественных url", движок выдает для ПС ту же страницу, но с адресом через "?topic=ххх", то есть, без учета этой функции. По той причине, что функция работает только при наличии кукис, которых у ПС нет. Если зайти на сайт с отключенными куки, то можно самостоятельно убедиться, какой будет формат ссылок.
Об этом неоднократно упоминалось в темах:
http://www.simplemachines.ru/index.php?topic=607.0
http://www.simplemachines.ru/index.php?topic=4119.0
и прочих
Цитата Mavn оттуда:

Прикол в другом если посмотрите как проиндексирован наш сайт то в индексе поисковиков не увидете этих самых красивых урлов. Связано это с тем что пока у вас не сохранятся на компе куки и/или сессии эти самые красивые урлы работать не будут, а для поисковиков это не подходит.

Во всяком случае, так было некоторое время назад. Однако, сейчас стал исследовать это подробнее, и увидел вот что:
- Яндекс каким-то образом научился видеть эти дружественные url. То есть, ссылки в выдаче теперь имеют формат "topic,хххх.0.html". Не так давно этого не было.
- Гугл по прежнему индексирует в формате "?topic=ххх", и все страницы в выдаче именно в таком виде.

Собственно, получается, если для яндекса этот нюанс самоустранился каким-то образом, то для гугла пока все еще актуально.

[maestrosite.ru]

Всё-таки, где такое происходит? Покажите пример.

Правильнее сказать, при посещении адреса, сформированного с помощью "дружественных url", движок выдает для ПС ту же страницу, но с адресом через "?topic=ххх", то есть, без учета этой функции.

Это как? Как это посетили страницу, но выдал с другим адресом? Перенаправление какое-то?

По той причине, что функция работает только при наличии кукис, которых у ПС нет. Если зайти на сайт с отключенными куки, то можно самостоятельно убедиться, какой будет формат ссылок.

Если вы про canonical адрес, то вам сюда http://custom.simplemachines.org/mods/index.php?mod=3315

[Roman]

Всё-таки, где такое происходит? Покажите пример.

Например, первый попавшийся мне в поиске форум в включенными дружественными урл, и такой топик на нем: http://forum.webkamensk.ru/index.php/topic,916.0.html
Забиваем в гугле его название (http://www.google.ru/search?ie=UTF-8&hl=ru&q=%D0%9...), и в выдаче видим уже вот такой адрес: http://forum.webkamensk.ru/index.php?topic=916.0
У меня работает аналогично. Гугл индексирует именно "?topic=", при том, что в настройках включены дружественные урл, и в тегах link rel="canonical" идет именно на страницу с адресом "topic,ххх.0.html", даже когда она открывается с адресом "?topic=ххх"

Это как? Как это посетили страницу, но выдал с другим адресом? Перенаправление какое-то?

В деталях не подскажу, как это происходит, так как собственно, в этом и пытаюсь разобраться в данной теме.

Если вы про canonical адрес, то вам сюда http://custom.simplemachines.org/mods/index.php?mod=3315

PHPSESSID для поисковиков у меня убраны через robots.txt

[maestrosite.ru]

Роботы на вашем форума видят в canonical "дружественный" адрес для обоих вариантов, но с PHPSESSID:

Код Выделить Развернуть


<link rel="canonical" href="http://forum.webkamensk.ru/index.php/topic,916.0.html?PHPSESSID=hk73s3lhc69muegf53qacn4md7" />
То есть при каждом заходе - новый адрес. Поэтому что хотят, то и показывают. Та же страница, но в Я: http://yandex.ru/yandsearch?text=ОТЗЫВЫ+о+школах+Каменска

В robots.txt вы не сессионную переменную убрали, а закрыли для индексации страницы. Подробнее http://www.simplemachines.ru/index.php?topic=14410.0

PS Кстати, нет у вас в robots.txt слов PHPSESSID: http://forum.webkamensk.ru/robots.txt

[Roman]

Это не мой форум, это первое попавшееся для примера.

Но, вы правы, сразу не обратил внимание, что без включенных кукис, в rel="canonical" добавляется и PHPSESSID.
Попробую убрать, посмотрю, поменяется ли индексация в гугле.
Благодарю!