Выпадение из индекса страниц

[Lightfull]

Робот такой:

Код Выделить Развернуть

User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Host: insight-forum.ru

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

Исключенные страницы - практически все посты, например:

http://insight-forum.ru/index.php?PHPSESSID=00h4535ptbs7eebc3v4kpqdu94&action=recent

еще

http://insight-forum.ru/index.php?PHPSESSID=1sur7mvrqmbc7of8jng5fekks4&topic=467.msg598

Объясните почему после создания новой темы в индекс попадает сессия, а не нормальная корректная страница topic? что можно сделать?

http://www.simplemachines.ru/index.php?topic=7151.0 там начинает тема развиваться, но товарищу с модом так и не помогли...

[maestrosite.ru]

Disallow: /*PHPSESSID

Вот оно и не позволяет роботу страницы индексировать. Потому что робот приходит без кукисов и форум ему принудительно выставляет параметр PHPSESSID. Это правило надо убрать.

Второе. Что бы в поиск попадали страницы без PHPSESSID необходимо задать тег canonical с правильным адресом страницы. Сейчас он так же формируется с PHPSESSID. Если вам действительно важны адреса в поиске, то пробйте http://custom.simplemachines.org/mods/index.php?mod=3315

[Lightfull]

Товарищ! Подскажите в какую директорию эти файлы залить?

[Lightfull]

И еще одно. Раньше страницы отфильтрованные от сессий хорошо индексировались. И вот некоторое время назад перестали. Что за чудеса?

[maestrosite.ru]

Этот мод устанавливать, как и все остальные, через менеджер пакетов. После установки можно удалить и эти правила:

Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*prev_next

Скорее всего эти страницы сначала попали в индекс, а затем вы выставили запрет в robots.txt и начался вылет уже проиндексированных страниц. Причём в индекс могли попасть одни и те же страницы, но с разными PHPSESSID.

[Lightfull]

ну а вы хоть сущность добавленных изменений в Sub можете объяснить. что дает конкретно мод?

[maestrosite.ru]

из readme мода

Вывод тега "canonical" для главной страницы, страниц разделов и тем, строго без сессисоной переменной (даже для первой загрузки страницы)

"Для форумов версии 1.1.x - это добавление нового функционала, для версии 2.x - изменение существующего." То есть в Subs формируется канонический адрес страницы без сессионной переменной.

[stundr]

Второе. Что бы в поиск попадали страницы без PHPSESSID необходимо задать тег canonical с правильным адресом страницы. Сейчас он так же формируется с PHPSESSID. Если вам действительно важны адреса в поиске, то пробйте http://custom.simplemachines.org/mods/index.php?mod=3315

подскажите, если я параметр Disallow: /*PHPSESSID  добавил, мне обязательно надо этот мод ставить?

[maestrosite.ru]

подскажите, если я параметр Disallow: /*PHPSESSID  добавил, мне обязательно надо этот мод ставить?

как было сказано выше:

Вот оно и не позволяет роботу страницы индексировать. Потому что робот приходит без кукисов и форум ему принудительно выставляет параметр PHPSESSID. Это правило надо убрать.

Второе. Что бы в поиск попадали страницы без PHPSESSID необходимо задать тег canonical с правильным адресом страницы. Сейчас он так же формируется с PHPSESSID. ...

то есть этим правилом вы запрещаете роботу индексацию страницы с PHPSESSID, а робот видит на странице канонический адрес примерно вот так:

Код Выделить Развернуть


<link rel="canonical" href="http://www.simplemachines.ru/index.php?PHPSESSID=da84vfm75qpi20jd4pk85n4un4&amp;" />


стало быть, если вам нужен "чистый" адрес - ставьте

[stundr]

то есть этим правилом вы запрещаете роботу индексацию страницы с PHPSESSID, а робот видит на странице канонический адрес примерно вот так:
Код: [Выделить]

    <link rel="canonical" href="http://www.simplemachines.ru/index.php?PHPSESSID=da84vfm75qpi20jd4pk85n4un4&amp;" />


стало быть, если вам нужен "чистый" адрес - ставьте

поставил мод, но не могу найти никаких настроек, что то нужно ведь где то настроить, или он по умолчанию все сам делает?

[maestrosite.ru]

поставил мод, но не могу найти никаких настроек, что то нужно ведь где то настроить, или он по умолчанию все сам делает?

o_O   какие вы хотите настройки видеть?

посмотрите, как яндекс теперь видит ваш форум http://webmaster.yandex.ru/server-response.xml
скормите ему ссылку из индекса с PHPSESSID

[stundr]

посмотрите, как яндекс теперь видит ваш форум http://webmaster.yandex.ru/server-response.xml
скормите ему ссылку из индекса с PHPSESSID

честно говоря мало что в этом понимаю, но хочется надеяться, что все будет хорошо.

[Stern]

o_O   какие вы хотите настройки видеть?

посмотрите, как яндекс теперь видит ваш форум http://webmaster.yandex.ru/server-response.xml
скормите ему ссылку из индекса с PHPSESSID

спасибо за мод, transkontrol!
"ручная" отмена сессий для конкретных роботов в файле Load.php (строки $ci_user_agent = strtolower($_SERVER['HTTP_USER_AGENT']);
         $user_info['possibly_robot'] = (strpos($_SERVER['HTTP_USER_AGENT'],...) работает точно так же?

[plintus]

Что за мод поделитесь. У меня из яндекса все страницы выпали. Всё читал как на форуме здесь сказано. Что только не делал. Сначала вроде пошло а потом все меньше и меньше. Короче сейчас около 40 страниц в поиске. Но их больше 2000!

User-agent: *
Allow: /$
Allow: /*board
Allow: /*topic
Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Host: guitarlib.hr00.ru
User-agent: Slurp
Sitemap: http://guitarlib.hr00.ru/sitemap.xml
Crawl-delay: 100

[Yworld_garry]

plintus У вас стоит какой то мод ЧПУ, думаю плясать нужно от этого. Глянул мельком.
Не увидел у вас rel="canonical" в страничках.

[plintus]

Yworld_garry rel="canonical" удалил так как ничего не индексируется. Во всё меньше и меньше страниц в поиске ужассс( уже 27 )!
Установлен Pretty URLs

[Yworld_garry]

Yworld_garry rel="canonical" удалил

Это зря, появление дублей в индексе, автоматом этот индекс убивает(вкратце)

[plintus]

Да оно что с ним что без одно и тоже. Я уже подумываю в роботс всё разрешить

[Yworld_garry]

Да дело то скорее всего глубже и не в роботс, если правильно все с чпу. Заходите в панель вебмастера и проверяйте урлы в проверки роботс.
Всего то проверить нужно несколько урлов Форумов, тем ...

[chilly86]

Да оно что с ним что без одно и тоже. Я уже подумываю в роботс всё разрешить

ага... и личку и приватные данные...

[plintus]

Значит стоит опять вернуть? Может из-за того что я ЧПУ сменил и старые адреса теперь не действительны?

[Yworld_garry]

Дык с этого и надо начинать. Ответ, да.

[plintus]

Всё вернул. Дальше что мне нужно?

[Yworld_garry]

Загонять новые в индекс. Предварительно проверив в панели яндекса что все в роботс разрешено в вашем ЧПУ.

[plintus]

А как загнать? Ждать месяцы?

[Yworld_garry]

Да хотя бы так http://www.simplemachines.ru/index.php?topic=11315.0

[maestrosite.ru]

спасибо за мод, transkontrol!
"ручная" отмена сессий для конкретных роботов в файле Load.php (строки $ci_user_agent = strtolower($_SERVER['HTTP_USER_AGENT']);
         $user_info['possibly_robot'] = (strpos($_SERVER['HTTP_USER_AGENT'],...) работает точно так же?

Извините, не понял вопрос.

Что за мод поделитесь.

http://custom.simplemachines.org/mods/index.php?mod=3315