Почему не индексируются форумы SimpleMachines. Мое исследование..

[apika]

Наконец меня вывела из себя эта тема www.simplemachines.ru/index.php/topic,3449.0.html и решил я заняться изучением проблемы самостоятельно.....Вот что вышло. Просмотрел я коды нескольких форумов и выявил бяку... Смотрите сами...

http://www.forum-rudn.info

Код Выделить Развернуть


<META NAME="Document-state" CONTENT="Dynamic"> говорит поисковику:"заходи почаще"
<meta name="robots" content="INDEX,FOLLOW" /> индексацию разрешает
<meta http-equiv="Pragma" content="no-cache" /> кэширование не рекомендованно
<meta http-equiv="no-cache" />непонятно, но наверно кэширование запрещает
<meta http-equiv="Cache-Control" content="no-cache" /> кэширование запрещает
форум в индексе имеет страницы с с названиями как в <title>, но при наборе ключевой фразы вместе с доменным именем невыдает.

http://likedforum.ru/

Код Выделить Развернуть


<meta name="robots" content="noindex" />
ничего нет в индексе кроме главной, войти, зарегистрироваться

http://www.yuristyonline.ru

Код Выделить Развернуть


<META NAME="ROBOTS" CONTENT="INDEX">разрешает кэширование
Данный форум имеет много страниц в индексе с названиями, соответствующими <<title>, просматривается в гугле при вводе определенной фразы и доменного имени (естествеено и просто должно быть, но форум не раскручен, а искать до 100 страницы ....).

___http://talkin.ru

Код Выделить Развернуть


<meta name="robots" content="noindex" />
есть страницы и без  <noindex>, но их не более пары десятков из 400

___http://www.apiterapiya.ru

Код Выделить Развернуть


<meta name="robots" content="noindex" />
Мой форум. 1 страница в индексе с нормальным названием. Форум молодой, сообщений мало, долго простаивал. До этого простоя был на другом домене, та же самая страница была в индексе. В ней нет <noindex>

Отсюда вопросы....КТО ТАК НАД НАМИ ПОДШУТИЛ ?...., бусть каждый думает, что он думает. Вопрос такой, как сделать так, что бы не было  этого совсем нам ненужного тега с его долбаными атрибутами <meta name="robots" content="noindex" />, и как сделать, что бы вместо них был тот же тег, но с атрибутом без "no". И как сделать, что бы название темы отображалась в <title>, <meta name="keywords" content=...." /> и <meta name="description" content="...." />

[Avdenago]

Так. без паники - так надо. для вас лучше же ее не убирать:)  разрабы не такие уж и дураки... Поищите поиском по форуму - уже не раз обсуждали это.

вот тут начало.
http://www.simplemachines.ru/index.php/topic,205.msg9348.html#msg9348

вот тут ответ
http://www.simplemachines.ru/index.php/topic,205.msg9349.html#msg9349

А я уж подумал действительно узнать что-то новое.

[apika]

Avdenago, я не пойму, Вам глаза затмили или что? Какой это ответ... Я в первом посте привел целый анализ 5 форумов. Там ясно видно, что гугл выдает только 1 из них. И именно у того одного нет в страницах строк с тегом
<meta name="robots" content="noindex" />,
причем в том форуме напротив стоит добро на индексацию.
<META NAME="ROBOTS" CONTENT="INDEX">.
Если принимать во внимание ответ Mavn "во втором случае и будет так называемый запрет на индексирование чтобы поисковики не идексировали одну и туже тему по такому http://www.simplemachines.ru/index.php/topic,205.0/prev_next,next.html#new
и по такому
http://www.simplemachines.ru/index.php/topic,1022.0.html
адресам"то получается что тот случай, который предназначен для индексации поисковиков просто не работает..., и поисковики не видят его так же как и мы, а видят только то, что и мы, но у них запрет на это видение....

в случае если включены SEO URLS в SMF

а как их тоды выключить....

[Mavn]

Без грубостей вам никто не грубил если я буду в таком тоне отвечать то мало не покажется!!!
если вы так хорошо провели анализ то укажите на примере одного форума например http://likedforum.ru/ страницы где указан noindex. Хотя бы 10 страниц приведите.

[Солярис]

Данный форум имеет много страниц в индексе с названиями, соответствующими <<title>, просматривается в гугле при вводе определенной фразы и доменного имени (естествеено и просто должно быть, но форум не раскручен, а искать до 100 страницы ....).

"Раскрученный форум" и "много страниц в индексе" - разные вещи.
Кроме того, раскрутка форума - это весьма сложная задача и она не решается за несколько дней.

[apika]

ага, понял закономерность. Тоесть если жать с главной страницы на "новое сообщение", то выпадает ноуиндекс, а если заходить из раздела на начало темы, то ноуиндекса нет.  Понял это, только что.... Но, но почему тогда гугл выдает нормально только этот http://www.yuristyonline.ru форум?
Сравните:
http://www.google.com/search?hl=ru&q=site%3Alikedforum.ru&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&lr=

и

http://www.google.com/search?hl=ru&lr=&q=site:www.yuristyonline.ru&start=180&sa=N

Есть разница...не так ли

"Раскрученный форум" и "много страниц в индексе" - разные вещи.
Кроме того, раскрутка форума - это весьма сложная задача и она решается за несколько дней.

я понимаю смысл этих понятия... Вчитайтесь внимательней, я написал

при вводе определенной фразы и доменного имени (естествеено и просто должно быть, но форум не раскручен, а искать до 100 страницы ....).

смысл в том, что я вместе с текстом вводил доменное имя, что бы выпадал на первой странице результат...

[Mavn]

как быстро у вас открывается likedforum.ru? у меня первый заход происходит порядка минуты хотя скорость у меня не маленькая юристы же открываются быстро.

Скорость работы хоста тоже сказывается на индексации потому как у большинства поисковиков если ресурс не отвечает в течении определенного времени то индексация просто дальше не будет проходить.

[apika]

9 секунд вместе с картинками. У меня хостинг быстрый, но тоже ничего не ищет...
спутник тариф 256, но на самом деле не более 30

ну согласитесь, это не просто совпадения. Что только 1 из 5 имеет страницы в индексе, и причем только у него без ноуиндекса...

[Dim]

Секреты индексации динамических страниц в поисковых системах
http://www.searchengines.ru/articles/004541.html

Динамические страницы - как заставить поисковые системы их проиндексировать?
http://www.searchengines.ru/articles/004504.html

www.musicboat.ru

[Солярис]

Dim, что Вы хотели эти сказать?

[apika]

решения такой проблемы заключается в динамическом преобразовании
URL средствами вебсервера Apache. В основном, используется библиотека mod_rewrite,
которая, на основе прописанной вами в файле .htaccess маски, переопределяет
вызов определенной страницы как вызов основного скрипта с нужными параметрами.
Способы реализации этого, конечно же, различны для разных скриптов, хотя для
большинства популярных скриптов их можно найти на форумах поддержки.

неподскажете, есть ли для форума такие фичи?

Google пройдет
по ссылке на динамическую страницу, но, встретив там новые ссылки, по ним не
пойдет. Поэтому целесообразно присылать ему статическую
страницу с ссылками
на динамические.

это речь идет о карте сайта?


Dim, а по первой ссылке подробней не скажете? Правильно я понял, что в корневом каталоге, в файле .htaccess нужно прописать это:
RewriteEngine On
RewriteBase /
RewriteRule ^index/(.*)$ /index.php/$1

ForceType application/x-httpd-php


а, еще надо вот это:
Header("Last-Modified: ".gmdate("D, M d Y H:i:s",filemtime("index.php"))." GMT"); //строка пригодится в любом случае

куда это надо прописать относительно форума?

[apika]

ну что, никого это больше не волнует. Это же не дело, иметь форум, в который люди только по приглашению будут идти. Надо что то думать, кто соображает..отзовитесь

[Dim]

Я в этом деле новичёк. Дал информацию, чтоб знатоки разобрались. У меня файл .htaccess не получается сделать - Windows говорит, что нужно ввести название файла. Чушь какая-то.

[apika]

я .htaccess делал в самой хостинг панели. Может на юниксе сделается, не знаю.

Неужели больше никому неинетересно по этому поводу. Mavn, какие нибудь соображения есть, или Вы стоите на своем мнении, что всё хорошо?

[Mavn]

Хех а кто сказал что я доволен тем что есть?

в винде файл .htaccess не создашь.

[Stern]

Хех а кто сказал что я доволен тем что есть?

в винде файл .htaccess не создашь.

Элементарно - даже из обычного блокнота простым сохранением ;-)

По поводу индексации - Mavn, твой ресурс проиндексирован гуглем одинаково и с www, и без оного (в отличие от моего ВФ - можешь проверить - разница колоссальная) - чем это достигнуто?

[Mavn]

у меня в настройках гугла указано что сайт с www главный .
если обратишь внимание то адрес моего сайта всегда начинается с www даже если ты наберешь в адресе без www сайт автоматически тебя перенаправит на www.

Хехе при доп программах я тоже создам что угодно. Ты попробуй только средствами самой ОС

[Stern]

у меня в настройках гугла указано что сайт с www главный .
если обратишь внимание то адрес моего сайта всегда начинается с www даже если ты наберешь в адресе без www сайт автоматически тебя перенаправит на www.

Хехе при доп программах я тоже создам что угодно. Ты попробуй только средствами самой ОС

Второе - непринципиально для данного обсуждения.
По первому - каким образом организован сей редирект и какие преимущества он даёт? (про гугловую главность в курсе)

[Jerry]

У меня 13000 постов и 700 тем. А Яндексом проиндексирована только главная страница! И больше ничего.
1.1.5 + TP + дружественные ссылки. С другими поисковакими всё ОК, главный сайт - без "www".
Кто знает, в чем может быть дело? Так всегда с Яндексом?

[Stern]

Попробуйте воспользоваться услугой яндекса для веб-мастеров - http://webmaster.yandex.ru/wmconsole
На самом деле стоит проверить, не забанен ли ваш сайт самим яндексом (по той же ссылке)

[Jerry]

Сбасибо. Проверил, не забанен.
Да и как он мог быть забанен, если главная проиндексирована?

Зато я нашел проблему, которая можен мешать многим: куча ошибок "Документ запрещен в файле robots.txt" и все на PRINGPAGE.
Я, как думаю и многие, запретил индексацию страниц для печати.
Казалось бы, это должно заставить его индексировать только обычные страницы, но вот... вот обычные страницы тем он ВООБЩЕ не индексирует!

Как с этим бороться, не разрешая индексацию страницы для печати?

P.S. А в инструментах вебмастера Яндекса написано

Страницы в индексе
Список страниц попавших в поисковый индекс.
Страниц: 18

А еще 1477 ссылок с других сайтов на мой. Но на самом деле проиндексирована ОДНА (главная), если проверить с http://webmaster.yandex.ru/check.xml (тот же rhost=...)

[Stern]

Сбасибо. Проверил, не забанен.
Да и как он мог быть забанен, если главная проиндексирована?

Зато я нашел проблему, которая можен мешать многим: куча ошибок "Документ запрещен в файле robots.txt" и все на PRINGPAGE.
Я, как думаю и многие, запретил индексацию страниц для печати.
Казалось бы, это должно заставить его индексировать только обычные страницы, но вот... вот обычные страницы тем он ВООБЩЕ не индексирует!

Как с этим бороться, не разрешая индексацию страницы для печати?

P.S. А в инструментах вебмастера Яндекса написаноА еще 1477 ссылок с других сайтов на мой. Но на самом деле проиндексирована ОДНА (главная), если проверить с http://webmaster.yandex.ru/check.xml (тот же rhost=...)

печатные стираницы здесь ни при чём - они просто не будут выдаваться в рез-тах поиска.
а бан яндекса как раз и заключается в том, что кроме главной страницы, больше ничего не индексируется...
Пишите Платону, Sikes!

[John Gray]

По поводу индексации - зарегился я в Яндексе и обнаружил, что сайт не ин7дексируется. Попросил знакомого програмера поправить код (каюсь - не знаю, что правил) - стал индексироваться. НО! 2000 страниц - ошибка! "Документ содержит мета-тег noindex". Пришлось опять звонить знакомому и он переделывал код. Слов нет, бл№№№...

щас все нормально вроде. Сайт, кому интересно - http://biolocation.ru/forum/index.php

[dm_mb]

По поводу индексации - зарегился я в Яндексе и обнаружил, что сайт не ин7дексируется. Попросил знакомого програмера поправить код (каюсь - не знаю, что правил) - стал индексироваться. НО! 2000 страниц - ошибка! "Документ содержит мета-тег noindex". Пришлось опять звонить знакомому и он переделывал код. Слов нет, бл№№№...

щас все нормально вроде. Сайт, кому интересно - http://biolocation.ru/forum/index.php

поисковик на ноиндекс ругаться не может. это медународный стандарт который говорит все роботам всех поисковых систем что эту страницу нельзя индексировать.

а то что ваш программер вырезал из шаблона кусок который как раз и отвечал за это - говорит о плохой квалификации программера. отрезать то отрезал..но гангрена на другой ноге была.

теперь у вас весь форум сплошной дубль. ага.

[Mavn]

поисковик на ноиндекс ругаться не может. это медународный стандарт который говорит все роботам всех поисковых систем что эту страницу нельзя индексировать.

Яндекс действительно показывает что страницы с noindex это типа ошибки только вот те кто совсем в этом деле не разбираются начинают заниматься ерундой и чего то править. На самом деле яндекс всего лишь показывает какие страницы находятся с данным тэгом.

[John Gray]

поисковик на ноиндекс ругаться не может.

Не может... А ругается! 

теперь у вас весь форум сплошной дубль. ага.

Не знаю, что Вы имели в виду под "дублем", я ходил по "ошибочным" ссылкам - совершенно обычные темы форума. К тому же делал "сайтмап" - отсканировано 6000, а индексировано 4000, плюс 2000 с ошибками. 4+2 умеем?

[Mavn]

John Gray

вы не правы!
стандартными средствами форума запрещаются ссылки к индексации типа msg previous и пр.  Больше ничего сам форум не запрещает!!
Вы бы поняли что в самом форуме все правильно сделано если бы прочитали мое сообщение выше!

[John Gray]

Типичные "ошибочные" ссылки:
/forum/index.php?PHP...9258219d850e&amp;topic=11.msg84
/forum/index.php?PHP...258219d850e&amp;topic=55.msg732
/forum/index.php?topic=156.msg717
/forum/index.php?topic=36.0;prev_next=prev

То есть - большинство - просто обычные посты.... Один к 5-10 - с тегами prev. Ну?

[Avdenago]

Что ну?

Чем отличается
/forum/index.php?topic=156.msg717
от
/forum/index.php?topic=156

?

Посмотрите для себя.
Подскажу: практически ничем... 
А вы думайте, думайте...

[platon]

дайте прямой ответ кто в курсе, если поставить index в коде

Код Выделить Развернуть

<meta name="robots" content="index" />, будет индексация  целого форума?

[dm_mb]

куда прямее уж. "ничего не трогать"

[lirikk]

Всем доброго времени.

Смотрю тут мой форум ( likedforum.ru) ставят в примеры.Так вот не знаю,что там у Вас не индексируется Яндексом,но в яшке уже 33071 страниц,нигде ничего не трогал,просто настроил файл .htaccess .

Свой форум проверял тут  _http://webmaster.yandex.ru/check.xml как и все 

P.S. некоторые забывают при открытии домена,добавлять URL в Яндексе

[Serifa]

Проверила в Яндексе - индексировано ноль.

Впрочем, форум переезжал на новый домен, но уже три месяца прошло! Зато, когда ищу по ключевым словам, находит кучу совершенно левых ссылок, где есть такие вещи, как просмотр профиля, ссылки на форум... проблема усугубляется еще и тем, что есть почти совершенно идентичный форум и даже название тоже самое - но на бесплатном ресурсе. И все эти ссылки - в одной куче))

Бесплатный - тоже мой, там как бы филиал, потому что мне нужны контакты с тем сообществом... вот и получлось, что два форума с одним названием в сети.

[vladok]

Я вижу что  много форумов на базе SMF повылетало из Яндекса после их трехмесячной давности игр

Выход один -теребите Яндекс суппорт. Они там МЕСЯЦАМИ нефига ни делают -отписываются цитируя собственную факу - и ничего конкретного.

Пишите им, и давайте линки допустим на эту тему. Теребите энтих лентяев, а то моторчик SMF из за них просто помрет.

[Солярис]

vladok, не знаю, у меня ничего не повылетало.

[Алексей С.]

У меня та же проблема: Яндекс не индексирует мой форум, выдает ошибку Документ содержит мета-тег noindex. Как избавиться от этой ошибки? Прочитал весь этот топик так и не понял как избавиться от этой ошибки.
У меня форум SMF 1.1.9

[Gnostis]

пользоватся поиском и почитать про robots.txt там есть рекомендация по поводу noindex

[Serifa]

Раз вы опять про это...

пользоватся поиском и почитать про robots.txt там есть рекомендация по поводу noindex

Я себе поменяла этот роботс. Теперь эта каза Яндекс приходит чуть не каждый день и в самый неудачный момент копирует страницы с форума, и ведь время выбирает, когда я там что-то менять начинаю! Накопировал много лишнего. Сейчас опять отредактирую роботс...

[Gnostis]

His Divine Shadow, я товарищу Алексей С. дал рекомендацию где искать информацию по поводу возникающей у него ошибки: Документ содержит мета-тег noindex.

А если что-то пишете, пишите в Word-е на машине или же локальны SMF поднимите, но в любом случае поисковики со временем информацию переиндексируют. Только один вопрос, сколько это займет времени =)