Проблема с индексацией Яндексом

[Ishodniki]

Доброе время всем!

Форум: forum .ishodniki .ru

Проблема: Яндекс индексирует примерно 30 страничек и через день они пропадают и заново индексируются. Остальные поисковики замечательно проглотили всё... А вот Яндекс...
Возможные причины: Смотрел код... Был какой-то непонятный скрипт, запрещающий индексацию: откуда взялся он, не понятно. Убрал его давно уже... Гугл моменттально схватил всё.
Была ещё одна непонятная проблема: некоторые темы были запрещены для просмотра гостями. Исправили.
Роботс настроен аналогично, как и на данном форуме!

Подскажите, какие ещё могут быть проблемы, касательные движка форума?
Буду признателен, если кто-либо сделает предположения или, ещё лучше, ткнёт носом в косяк.

Спасибо

[kostyk]

http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.ishodniki.forum%22|rhost%3D%22ru.ishodniki.forum.*%22&pag=u
вот как на данный момент проиндексирован Ваш форум.
А что за скрипт такой был который запрещал индексацию???

[Ishodniki]

kostyk, как проиндексировано, я знаю.
Проиндексировано постоянно 31 страница и через день они заново выпадают и индексируются...

И так постоянно...
Причину найти не могу...

Пользовался гугл sitemap один раз делал курту сайта.
Сейчас все файлы удалил. Но причина в чём-то другом...

[Ishodniki]

http://www.yandex.ru/yandsearch?text=rhost%3D%22ru.ishodniki.forum%22|rhost%3D%22ru.ishodniki.forum.*%22&pag=u
вот как на данный момент проиндексирован Ваш форум.
А что за скрипт такой был который запрещал индексацию???

А скрипт привести тоже не могу уже. Что-то на JavaScript было.
Удалил его безвозвратно.

[kostyk]

Попробуй тогда написать письмо в тех. поддержку Яндекс, с темой Платон, опиши в письме полностью свою проблему!
Как ответят, отпишись тут!

[Ishodniki]

Попробуй тогда написать письмо в тех. поддержку Яндекс, с темой Платон, опиши в письме полностью свою проблему!
Как ответят, отпишись тут!

Писал уже им.
Правда не Платону.

Хорошо, попробую.
Надеюсь ответят.

[Ishodniki]

На searchengines предложили сделать .htaccess
(мол ссылающиеся ссылки все начинаются с www а форум без ..)
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.forum.ishodniki\.ru
RewriteRule ^(.*)$ http://forum.ishodniki.ru/$1 [R=permanent,L]

Пробую...

[Ishodniki]

Сегодня первый день, как проиндексировалось 195 страниц, однако, если начать просматривать эти страницы, нажимая дальше, то оказывается, что их 43 или ещё меньше...
Что-то Яндекс глючит http://www.yandex.ru/yandsearch?ras=1&text=&site=forum.ishodniki.ru

Однако, время покажет.
Ждём дальше.
Лишь бы страницы не вылетили...

[kostyk]

Вот и я сегодня нашел у себя такой вот тег, нафига спрашивается разработчикам это нужно? :-(
<meta name="robots" content="noindex" />', '

[domofor]

Вот и я сегодня нашел у себя такой вот тег, нафига спрашивается разработчикам это нужно? :-(
<meta name="robots" content="noindex" />', '

Где конкретно?

[kostyk]

в index.template.php твоей текущей темы в хедере

[DarkTemplar]

Хм, ну если она мешает, то что мешает ее удалить?

[Avdenago]

Вот и я сегодня нашел у себя такой вот тег, нафига спрашивается разработчикам это нужно? :-(
<meta name="robots" content="noindex" />', '

Так. без паники - так надо. для вас лучше же ее не убирать:)  разрабы не такие уж и дураки... Поищите поиском по форуму - уже не раз обсуждали это.

вот тут начало.
http://www.simplemachines.ru/index.php/topic,205.msg9348.html#msg9348

вот тут ответ
http://www.simplemachines.ru/index.php/topic,205.msg9349.html#msg9349

[kostyk]

мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow

[domofor]

мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow

Если я правильно понял из объяснений, то неиндексируется пост с приставкой new. Самое главное, чтоб пост без приставки индексировался

[Avdenago]

мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow

Я бы не спешил называть бредятиной то, чего не понимаешь... убрали - ваше дело...  только потом не жалуйтесь...

я тоже когда то убрал. и получил эффект обратный желаемому. Янди проиндексировал несколько тысяч страниц...  и ему было все равно, что это одни и те же страницы... линки у них были разные - за счет якорей # - которые убираються той строчкой...

Я думаю, что если бы вы внимательно прочли то что я указал - и посмотрели на свои линки на форуме - вы бы поняли о чем шла речь...

[kostyk]

Я прекрасно понимаю что такое индексация и т п т.к. являюсь Seo-оптимизатором, но то как описывают в вышеуказанной теме для чего noindex в тех мета-тагех, врядли кто поймет!

[Denis]

Avdenago
А что было далее?? Проиндексил много дупликатных страниц Яндекс и что? Это боком Вам вышло?

[Mavn]

мда... бредятина какая-то, лично не фига не понял из объяснений Мавна, у себя заменил noindex на index, follow

Бредятиной занимаетесь вы а не я. Следите за словами в следующий раз потому как больше предупреждений не будет.
Незнание неумение и нежелание вникнуть в суть проблемы вот это бредятина и она исходит с вашей стороны!
Объясняю для особо одареных и вечно как это правильно сказать даже не знаю ... те кто бредят и мнят себя крутыми оптимизаторами не вникая и не желая вникать в суть проблемы.
Объясняю еще раз и на примерах.

заходим по ссылке:
http://www.simplemachines.ru/index.php/topic,2618.0/prev_next,next.html#new
после чего видим след код

Код Выделить Развернуть


<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<meta name="description" content="robots.txt" />
<meta name="robots" content="noindex" />

а теперь заходим
http://www.simplemachines.ru/index.php/topic,2067.0.html
и видим

Код Выделить Развернуть


<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml"><head>
<meta http-equiv="Content-Type" content="text/html; charset=windows-1251" />
<meta name="description" content="robots.txt" />


ну и где ваш noindex ?
Так что прежде чем говорить что кто то занимается бредятиной подумайте может вы не в своем уме...
Прежде чем что то говорить прочтите то что уже написал тем более что в теме в которой все расписал даже код приводил который отвечает за данное действие!!

[Ishodniki]

Mavn, будь добр, приведи, пажалуйста, тот самый код, чтобы верно ставился noindex!
Проверяю индексацию в Яндексе сейчас.
Всё верно, ребята говорят!!!
Яндекс индексирует одну и туже тму несколько раз: отличие только в том, что в url прибавляются различные .msg..., а нам это не надо и нужны только topic...

Спасибо.

[Mavn]

На searchengines предложили сделать .htaccess
(мол ссылающиеся ссылки все начинаются с www а форум без ..)
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.forum.ishodniki\.ru
RewriteRule ^(.*)$ http://forum.ishodniki.ru/$1 [R=permanent,L]

я конечно не крутой оптимизатор но помоему это не очень...
при данном условии у вас будет всего лишь происходить редирект
и еще под вопросом имеет ли смысл делать редирект при помощи 302 ошибки а не 301 потому как когда переносил форум с http://www.simplemachines.ru/community на тот что имеем сейчас http://www.simplemachines.ru прочитал достаточно много документации на разных ресурсах (в основном забугорных) по данному вопросу и многие сколнялись использовать 301 а не 302.
Разницу между одним и другим я думаю найдете в документации.
И честно говоря если у вас не индексируется и с www то не думаю что данное правило будет как то вообще влиять но общую индексацию проекта кроме как пожалуй только одно понимание поисковиками проекта с www и без www как единого целого. К ускорению или улучшению индексации наврятли приведет.

Mavn, будь добр, приведи, пажалуйста, тот самый код, чтобы верно ставился noindex!

Avdenago отвечал на данный вопрос приводя ссылки но как всегда оставили без внимания еще и обругав при этом.

вот тут ответ
http://www.simplemachines.ru/index.php/topic,205.msg9349.html#msg9349

[Ishodniki]

Эх странное дело, сколько времени прошло, но так и не хочет индексироваться Яндексом.
Ежедневно 31-32 страницы и ежедневно они пропадаю и появляются.

[Mavn]

а в гугле у тебя индексация нормальная? У гугля есть утилитка для вебмастеров можно посмотреть что запрещеается какие ошибки при индексировании возникают и прочие мелочи. Я это к тому что можно использовать данную утилитки для анализа своего хоста по крайней мере ты будешь видеть хоть что то .

[Ishodniki]

а в гугле у тебя индексация нормальная? У гугля есть утилитка ...

Спасибо за совет, конечно.
Данной утилитой пользовался и частенько проверяю.
Проблем нет никаких. Всё что запрещено в роботс там отображается, более проблем нет. СайтМап тоже своё дело сделал.
И Яндекс молчит... Сегодня зарегил в их каталоге, возможно это повлияет на скорость их ответов.

В логах сервера смотрю за активностью Яндекса... Заходит ежедневно и берёт много ссылок. Однако они не появляются.

[bbbbbb]

поисковики по разному работатю, ко мне иногда приходит yahoo, пару раз пришло 150, другой, раз 30, другой раз 5.
с гугла по одному, И не давно был яндекс, точнее может и не он, но счетчик этого хоста который пришел не всчитал...

[.nitro]

2Ishodniki, ну чего вы паникуете?
Сейчас в Я твориться что-то невообразимое. У меня до недавнего времени сайт в день индексировался просто замечательно, но 2 недели назад СТОП и всё. Гугля исправно индексирует, а вот Я нивкакую. Рамблер и то признался, что уже проиндексировал, хотя 2 месяца скрывал

Хз что в вашем случае, у меня зона .info, у вас .ru
Добавьте в адурилку? погодите с пару недель, а то и с месяц. Прикупите на сапе ссылок.

Если через пару месяцев не будет результата, пишите Платону.

[Ishodniki]

2.nitro 
Всё, что ты описал, я уже сделал ))
И ссылки и аддурелка. Яндекс знает мой сайт, и практически каждый день забирает страницы.
Вот снова 32 страницы из которых 30 проиндексированы  7 часов назад...
И так каждый день ))

А Плотон молчит как партизан. Хоть бы словечко промолвил, хоть бы сказал, что не у меня трабл.

Ну да ладно, спасибо за активность и поддержку!
ОТпишусь как проясниться...

[savirmir]

Хм... Я просто прописал свой сайт в Яндексе...
Запретов на сканирование страниц у меня нет, знаю точно, так как сам тот сайт писал...
Одна из страниц сайта ведёт на форум. Всё...
Пробывал искать - всё нормально... т.е. если через некоторое время ввести в Яндексе фразу из форума, он её находит... причём среди первых ссылок.
Недавно проделал ещё одну штуку - добавил функцию поиска по сайту (и, соотвественно, форуму) из Яндекса на одну из страничек сайта, работает прекрасно и, насколько я понимаю, ускоряет индексирование страниц...

[Ishodniki]

Взглянул на .htaccess
Кто растолкует? Запись появилась сама по себе:
-------------------------------------------
DirectoryIndex index.php
Options -MultiViews

<IfModule mod_php4.c>
   php_flag session.use_trans_sid off
</IfModule>

<IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteRule ^dir/(.*) sefriendly.php
</IfModule>
--------------------------------------------

2savirmir - Попробую форму поиска Яши вставить.
Хотя не вариант тоже ))

Но в Логах сервера каждый день наблюдаю, что Яша забирает сотни страниц - куда они деваются только и почему не появляются так долго в индексе...

[Mavn]

DirectoryIndex index.php  указывает что загрузка должна производится  с index.php
Options -MultiViews не знаю и не нашел описание опции но многие говорят что из за нее могут быть различные глюки.
<IfModule mod_php4.c>
   php_flag session.use_trans_sid off             
</IfModule>
работа с сессиями

<IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteRule ^dir/(.*) sefriendly.php
</IfModule>

ну а это какая то заморочка на переделку адресов типа как у нас index.php?action=forum в forum.html

Честно говоря я бы убрал Options -MultiViews я бы еще понял бы если была бы строка Options -Indexes

[Ishodniki]

Странная штука, .htaccess частенько проверяю и до этого стоял только запрет на один IP (бан)
Эти строки появились совсем недавно. Какой-то SMF уж слишком умный. ))

А возможна проблема из-за неправильного выставления атрибутов на файлы и папки?

[Mavn]

от атребутов уж точно не зависит

[bbbbbb]

«Главное преимущество mod_rewrite — настраиваемость и гибкость Sendmail. Обратная сторона mod_rewrite — настраиваемость и гибкость Sendmail».
«Несмотря на тонны примеров и документацию, mod_rewrite это Вуду. Чертовски клёвый Вуду, но все-таки Вуду.»

MultiViews - это опция для многоязычных кодировок, она давно не используеться, рекомендуеться выключить, она у меня включена кстате, "-" приоритет меньше если еще в подкаталоге будет такаяже опция ...
http://mod-rewrite-wizard.com/ - сайт для генерации того чтобы убрать лишнее...

есть каталог dir и файл sefriendly.php?

[Ishodniki]

bbbbbb, таких каталогов и файла нет.

[Mavn]

ну тогда и смысла в данных параметрах .htaccess вообще нет можешь его либо удалить вообще либо оставить только загрузку с index.php