Disallow: /*PHPSESSID - быть или не быть

[maestrosite.ru]

Доброго времени суток!

По какой-то причине началась просто эпидемия вопросов про правило

Код Выделить Развернуть

Disallow: /*PHPSESSID
особенно в свете индексирования яндексом. Для наглядности проведите эксперимент с этим правилом для своего форума SMF 2.x.

1. В панели вебмастера запросите любую страницу, которая должна находится в индексе поисковика. Например, раздел или тему обсуждения.
http://webmaster.yandex.ru/server-response.xml

2. В полученном ответе, узнайте канонический адрес страницы - Псевдоссылка "содержимое страницы" - значение тега <link rel="canonical"

3.  Запросите канонический адрес из предыдущего пункта с вашим файлом robots.txt - http://webmaster.yandex.ru/robots.xml


В итоге.

Если на вашем форуме выдаётся штатный canonical_url со штатным SID (PHPSESSID):
1. Если в вашем robots.txt присутствует указанное правило, то изначально запрошенная страница выпадает из поиска.
2. Если правило отсутствует, то в поиске будут дубли страниц из-за различных идентификаторов сессий.


Если же ваш canonical_url указывает на реальный адрес без сессионной переменной, то для этой страницы указанное правило влияния не оказывает.
Но здесь есть маленький нюанс - для поисковика все внутренние страницы всегда будут с сессионной переменной (PHPSESSID). Таким образом, если правило присутствует, то поисковику необходимо каким-то образом указать имеющиеся страницы, то есть как минимум иметь актуальный sitemap



upd:
По результатам последовавшего обсуждения сформулирую по-другому вывод:

1. Если ваши страницы содержат теги rel="canonical", то указанное правило никакой пользы, кроме вреда не принесёт.
2. Если ваши страницы содержат реальные адреса в rel="canonical", то не имеют смысла схожие правила:

Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*topicseen
Disallow: /forum/*prev_next

и добавлю рекламу: http://custom.simplemachines.org/mods/index.php?mod=3315 - мод "выводит тег "canonical" для главной страницы, страниц разделов и тем, строго без сессисоной переменной"



upd2:
Если решите задать вопрос, пожалуйста, указывайте больше конкретики. Адрес проблемной страницы, адрес форума, и тд

[pehser]

я решил подобный вопрос таким образом нашол в index.php

Код Выделить Развернуть

loadSession();
и заменил на

Код Выделить Развернуть

$ref = $_SERVER['HTTP_USER_AGENT'];
if (!preg_match('/YandexBot/i',$ref)) loadSession();

и проблема с Яшей решина

[maestrosite.ru]

я решил подобный вопрос таким образом нашол в index.php

Код Выделить Развернуть

loadSession();
и заменил на

Код Выделить Развернуть

$ref = $_SERVER['HTTP_USER_AGENT'];
if (!preg_match('/YandexBot/i',$ref)) loadSession();

и проблема с Яшей решина

В этом случае, чем править код, лучше Яндекс внести в список пауков.

[pehser]

в фукции loadSession проверки на поуков нету по этому занесения в пауков не даст ни какого результата, PHPSESSID будет возникать

[maestrosite.ru]

в фукции loadSession проверки на поуков нету по этому занесения в пауков не даст ни какого результата, PHPSESSID будет возникать

Видимо вы не знакомы с QueryString.php и добавлением сессионной переменной в адреса.
Вы добавили паука, но ссылки у вас по-прежнему содержат PHPSESSID ?

[pehser]

А причем сдесь QueryString.php в урл добовляется PHPSESSID не тотому что пхп скрипт ее дописует а потому что пхп возрошяет сессию в залоговках
Добавил YandexBot в заголовках вижу появляется Set-Cookie, при том методе который я предложил Set-Cookie не формируется

[maestrosite.ru]

А причем сдесь QueryString.php в урл добовляется PHPSESSID не тотому что пхп скрипт ее дописует а потому что пхп возрошяет сессию в залоговках

мда...

[pehser]

Заметил одну парадоксальную закономерность
если сылку проверять через http://webmaster.yandex.ua/server-response.xm
то первый раз в загалоках возрашяется Set-Cookie
если повторно туже страницу проверить то его уже нету 

[pehser]

мда...

Я про адрес урл аля адресная строка, a не ссылки на странице

[plintus]

  У меня точтно такая же проблема! Этот rel="canonical" убивает страницы! 1656 страниц не являются каноническими, а потом и вовсе все станут такими. Это пока я переехал на новый домен. Но многие же страницы это и есть темы форума. Какие дубли стреиц? Пожалуйста помогите избавиться от этого проклятия!    Вот адрес гляньте пожалуйста http://guitardriver.ru

[GeorG]

Вы вообще знаете что такое - канонический URL?
Зачем вы хотите открыть дубли? Вот и Кактус тоже хочет - http://www.simplemachines.ru/index.php?topic=14572.0

[plintus]

GeorG ну а почему тогда не дубли не индексируются?
Проклятый яндекс я уже запарился с ними ругаться

[karavan]

Яндекс? Нет, не слышал   Все мои знакомые пользуют только гугл...

[plintus]

Гугл то что можно и что нельзя всё проиндексил, но надо чтоб и Яндекс.

[maestrosite.ru]

У меня точтно такая же проблема! Этот rel="canonical" убивает страницы! 1656 страниц не являются каноническими, а потом и вовсе все станут такими. Это пока я переехал на новый домен. Но многие же страницы это и есть темы форума. Какие дубли стреиц? Пожалуйста помогите избавиться от этого проклятия!    Вот адрес гляньте пожалуйста http://guitardriver.ru

Не убивает, а, наоборот, размножает добавлением параметра PHPSESSID. Каждое новое значение параметра - новая страница. Какой адрес вы вводите на шаге 1, какой canonical получаете на шаге 2 и на шаге 3 ?

[plintus]

А зачем это размножение нужно?

[plintus]

Потихоньку яндекс начинает индексировать, но исключено 2400 страниц

[Roman]

http://custom.simplemachines.org/mods/index.php?mod=3315 - мод "выводит тег "canonical" для главной страницы, страниц разделов и тем, строго без сессисоной переменной"

Заметил, что при использовании данной модификации на 2.0.2, для главной страницы ставится <link rel="canonical" href='http://site.ru/index.php.html' />
А без модификации: <link rel="canonical" href='http://site.ru/index.php' />, ну и все стандартные ссылки идут именно на site.ru/index.php.

Понятно, что это наверняка лучше, чем все время с разными PHPSESSID, но тем не менее, как там можно правильно прописать дополнительное условие для главной?
Вероятно, что-то с $current_action=='home'.

[maestrosite.ru]

Заметил, что при использовании данной модификации на 2.0.2, для главной страницы ставится <link rel="canonical" href='http://site.ru/index.php.html' />
А без модификации: <link rel="canonical" href='http://site.ru/index.php' />, ну и все стандартные ссылки идут именно на site.ru/index.php.

Это ошибка. Спасибо за сообщение. Исправление http://smf2.maestrosite.ru/index.php/topic,10.msg56.html#msg56.

[Roman]

Благодарю за оперативный апдейт! Все работает.

[Stanic]

Disallow: /*PHPSESSID - быть или не быть

А разве для решения вопроса не достаточно директивы Clean-param в файле роботс или я чего-то не догоняю? Яндекс эту директиву понимает, а для гугла параметры, не принимаемые во внимание, можно указать в панели вебмастера. Вроде после этого при индексации параметр PHPSESSID  перестанет учитываться или нет? 

[maestrosite.ru]

Для решения какого вопроса, "Быть или не быть"?

[Nemo000]

maestrosite.ru Ваш мод будет работать с TinyPortal и Pretty URLs ?

[maestrosite.ru]

Да, работает. Если будут ошибки - сообщайте

[Nemo000]

К примеру если ставлю Ваш мод тег rel="canonical", появляется на главной (напомню стоит TinyPortal ) и разделах, темах, но его нет на странице http://мойсайт/forum/

И еще, я правильно понял, прочитав первый пост, что используя данный надо убрать из robots.txt

Disallow: /*PHPSESSID
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*topicseen
Disallow: /forum/*prev_next

[maestrosite.ru]

Задача мода - убрать сессионную переменную из канонического адреса. Формирование же адреса - задача соответствующих контроллеров. То есть для action=forum адрес должен формироваться тинипорталом, так как именно он добавляет эту страницу.

PS добавление адресов для страниц профилей и календаря - просто дополнение к основной задаче

[Nemo000]

Иными словами, все нормально. Индексация яндексом будет без сессионной переменной, или в моем случае нужно что-то еще?

Я кстати Вам писал на smf@maestrosite.ru по поводу своего форума так ответа и не получил.

[maestrosite.ru]

Да, при правильном canonical адреса в индексе будут без PHPSESSID. Для action=forum если страница нужна в выдаче, то для неё надо формировать canonical.

Письменный ответ готовится, не волнуйтесь.

PS Правила влияния не оказывают, можно добавлять, можно и без них.

[Nemo000]

Для action=forum если страница нужна в выдаче, то для неё надо формировать canonical.

Нужна, решение можно сворганить? Можете включить в тот отчет, готовится...

[maestrosite.ru]

BoardIndex.php, замените

Код Выделить Развернуть

// Set a canonical URL for this page.
$context['canonical_url'] = $scripturl;
на:

Код Выделить Развернуть

// Set a canonical URL for this page.
$context['canonical_url'] = $scripturl . '/forum/';

[Nemo000]

Заменил тег так и не появился

[Yworld_garry]

Заменил тег так и не появился

Насколько я сейчас вижу у вас вообще нет нигде canonical, если конечно что то не делаете сейчас.

[Nemo000]

как это нет? на главной и в разделах, темах. откройте исходный код и поиском воспользуйтемь. Везде кроме http://мойсайт/forum/

ОН прямо перед закрывающим тегом </head>

[Yworld_garry]

ОН прямо перед закрывающим тегом </head>

Да увидел, но это ни есть гут размещать его после скриптов и стилей, поднимите на свое место.

[Nemo000]

Я его, что ли туда пихаю? Мод туда запихал.

[Yworld_garry]

Я его, что ли туда пихаю? Мод туда запихал.

Как угодно будет, хотя поднять его не так сложно и будет правильно, логично и понятно ПС всем поддерживающим.

[Nemo000]

Спасибо Вам, что обратили на это внимание. А не подскажите как? Где рыть

Ага понял надо этот кусок в index.template.php поднять повыше?

Код Выделить Развернуть

   // Present a canonical url for search engines to prevent duplicate content in their indices.
   if (!empty($context['canonical_url']))
      echo '
   <link rel="canonical" href="', $context['canonical_url'], '" />';

[maestrosite.ru]

Да увидел, но это ни есть гут размещать его после скриптов и стилей, поднимите на свое место.

Век живи, век учись. Не поделитесь ссылкой на спецификацию для размещения тега?

[maestrosite.ru]

Заменил тег так и не появился

Покажите кусок кода который у вас получился после редактирования. Вместе со строками до и после, штук по 5.

[Yworld_garry]

Век живи, век учись. Не поделитесь ссылкой на спецификацию для размещения тега?

Вам на все надо маны или все же иногда прислушаетесь к опыту практически десятилетнему работы в этой области, могу , если будет время у моих ведущих специалистов попросить некоторое время и они вам помогут в некоторых моментах разобраться. Или вы видите часто сайты с разбросанными под скриптами метой. Или логику просто включите.
Тогда можно в принципе и описание и ключи раскидать там где придется, но внтри <head> , бот же найдет.

Тема не для спора, внутри тега же... 

И не забываем, что гугл( соответственно и яндекс) рассматривает canonical как подсказку, а не как строгую инструкцию(это в манах легко найдете)
Ради интереса посмотрите что в индексе яндекса вашего форума.

Можно ли использовать атрибут rel="canonical" для указания канонического URL на другом домене?

Цитата из мана гугла, и видео есть, если владеете английским. Это я к тому что в индексе будет иногда появляться всякий мусор, календари по 500 станиц, профили и все остальное. И даже используя ваш мод, есть смысл подстраховаться robots.txt, ну не будет хуже.

В некоторых случаях настроить переадресацию непросто. Например, пусть требуется выполнить переход на новое имя домена на веб-сервере, который не поддерживает переадресацию. В таком случае можно использовать элемент ссылки rel="canonical", чтобы указать точный URL-адрес предпочтительного домена для индексации. Несмотря на то, что элемент ссылки rel="canonical" рассматривается как подсказка, а не как строгая инструкция, Google следует ему по мере возможности.

[Nemo000]

Покажите кусок кода который у вас получился после редактирования. Вместе со строками до и после, штук по 5.
Сообщить

BoardIndex.php

Код Выделить Развернуть

// For wireless, we use the Wireless template...
if (WIRELESS)
$context['sub_template'] = WIRELESS_PROTOCOL . '_boardindex';
else
loadTemplate('BoardIndex');

// Set a canonical URL for this page.
$context['canonical_url'] = $scripturl . '/forum/';

// Do not let search engines index anything if there is a random thing in $_GET.
if (!empty($_GET))
$context['robot_no_index'] = true;


Ага понял надо этот кусок в index.template.php поднять повыше?
Код: [Выделить]

       // Present a canonical url for search engines to prevent duplicate content in their indices.
       if (!empty($context['canonical_url']))
          echo '
       <link rel="canonical" href="', $context['canonical_url'], '" />';

Так я правильно сообразил или нет? Проблема в том, что делая изменения index.template.php тег местоположение не меняет.

[Yworld_garry]

Так я правильно сообразил или нет?

Да правильно и думаю именно это и поднять в районе <title>

И проверьте сразу.

[Nemo000]

Код Выделить Развернуть



   echo '
   <meta http-equiv="Content-Type" content="text/html; charset=', $context['character_set'], '" />
   <meta name="description" content="', $context['page_title_html_safe'], '" />', !empty($context['meta_keywords']) ? '
   <meta name="keywords" content="' . $context['meta_keywords'] . '" />' : '', '
   <title>', $context['page_title_html_safe'], '</title>';

   // Present a canonical url for search engines to prevent duplicate content in their indices.
   if (!empty($context['canonical_url']))
      echo '
   <link rel="canonical" href="', $context['canonical_url'], '" />';
   
   // Please don't index these Mr Robot.
   if (!empty($context['robot_no_index']))
      echo '
   <meta name="robots" content="noindex" />';
Кусок отредактированного мной index.template.php изменения сохраняются, файл перезаписывается. Загружаю страницу, смотрю исходный код - тег там же. Елы палы
Для тем нет, что-тор вроде своего кеша? Естественно, в браузере  все обновил.

[Yworld_garry]

В админке форума, в обслуживании, обновить кеш.

[Nemo000]

Задача 'Очистить файл кэша' успешно выполнена.

Тег там же.

[Yworld_garry]

Тег там же.

Угу, капайте дальше. Subs.php

[digger®]

Тег там же.

А зачем его вообще двигать?

[Yworld_garry]

А зачем его вообще двигать?

Да суть в том, что и так зачастую он обрабатывается криво, да еще и под стилями и скриптом, не знаю почему он там находится на рассматриваемом форуме. Не кошрно.

[maestrosite.ru]

Не надо никуда передвигать. У вас Optimus Brave убивает канонической адрес

[Nemo000]

Не надо никуда передвигать. У вас Optimus Brave убивает канонической адрес

Подробнее можно? Ваш мрд несовместим с Optimus Brave ?