Почему Яндекс так плохо индексирует этот форум?

[keksinov]

Возможно обсуждение этой темы уже было (если это так то дайте пожалуйста ссылку на него)

А вопрос такой: сейчас попробовал искать посты с этого форума в Гугле и Яндексе. С Гуглом все обстоит хорошо. Декабрьские посты нормально синдексированы. Но вот почему то Яндекс не любит SMF. Не мог найти постов не только за декабрь, но и за ноябрь и даже октябрь. Почему? Поставлен запрет на индексацию яшкой или все гораздо сложнее и Яндекс просто не умеет индексить SMF?

[Yworld_garry]

http://www.simplemachines.ru/index.php?board=57.0

[keksinov]

Перекиньте пожалуйста туда этот топик

[Yworld_garry]

http://yandex.ru/yandsearch?clid=13999&yasoft=barff&text=%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%20%D0%BF%D0%BE%D0%B2%D0%B5%D1%80%D0%BD%D1%83%D0%BB%D1%81%D1%8F%20%D0%BA%20%D0%BB%D1%8E%D0%B4%D1%8F%D0%BC%20%D0%BB%D0%B8%D1%86%D0%BE%D0%BC&lr=2


А это по тексту из топика
http://yandex.ru/yandsearch?clid=13999&yasoft=barff&text=%D0%9F%D0%B8%D1%88%D0%B8%D1%82%D0%B5%20%D1%8F%D0%B2%D0%BD%D0%BE%20%D0%B8%D1%81%D1%82%D0%BE%D1%87%D0%BD%D0%B8%D0%BA%20%D0%B8%20%D0%BE%D0%B1%D1%8F%D0%B6%D0%B8%D1%82%D0%B5%20%D0%BC%D0%BE%D0%B4%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80%D0%BE%D0%B2%20%D0%BF%D1%80%D0%B8%D0%B3%D0%BB%D1%8F%D0%B4%D1%8B%D0%B2%D0%B0%D1%82%D1%8C%20%D0%B7%D0%B0%20%D1%8D%D1%82%D0%B8%D0%BC.%20%D0%9A%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D1%82%20WIN&lr=2


Ну и ещё масса всего находит великолепно. Или я не понял вопроса.

[keksinov]

Нет. Все поняли верно

Перед тем как создать тему наткнулся на массу неиндексированного в Яшке (видимо мне так "повезло"). Вот например  http://www.simplemachines.ru/index.php?topic=8863.0 (это ноябрь)

Или есть такие например http://www.simplemachines.ru/index.php?topic=8607.0 Тут в принципе на сайт попадаешь, но не в топик (его как бы нет), а на общую страницу.

И таких примеров я встречал массу

[BIOHAZARD]

у меня индексация 100% по всем форумам
и Яшей и Гошей

[Idrassil]

А у меня яндекс почему то индексирует только сайт и отдельные страницы хтмл, Смф форум вообще не попадает в диапазон поиска яндекса. С гуглом все ок. Написал в тех поддержку яндекса - ответили так:

"...В данном случае я рекомендую Вам запретить для индексирования страницы с
пользовательскими сессиями, для того, чтобы оставить роботу только уникальный
и не повторяющийся контент.
Страницы с сессими - это страницы вида:
/index.php?PHPSESSID=1086d04c2e38b1e93a5488b95c2ccc6e&topic=369.15 "

А как запретить эти сессии то? Может кто знает? Если поставить запрет на индексацию index.php?*, то по моему вообще никакая страница не будет проиндексована.

[Yworld_garry]

Disallow: /*PHPSESSID

Добавить в robots.txt . Это если конечно проблема именно в этом.

[Idrassil]

Спасибо вам, попробую так. Может как раз поможет.
В чем конкретно проблема - не знаю, с яндекса ответили только так. Думаю что это какие то особенности именно яндекса, ибо если были бы проблемы с моей стороны (неправильно настроил что то), то форум не индексировался бы гуглом.

[Palich]

Тоже борюсь с индексацией именно в яндексе.
другие движки шикарно кушает.
А вот СМФ что ни в какую то не хочет.хоть и роботс верный,и карта сайта,и ручную карту сайта делал.
Яша скушал 338 страниц(форум пока не развивается),но из 338 страниц в индексе только 1.
Причём без заголовка.
Noindex нет,время отклика сервера хорошее,хостинг тоже неплохой.нарушений правил яндекса нет.С гуглом проблем нет.
Ну уже не знаю как Яшу натравить на форум.
Может кто сможет подсказать что и где упустил,или что подправить?
Заранее благодарю.Ссылочка в профиле.

[decebel2]

Карта сайта не с прямой ссылки, ройте отсюда. Когда придадите ей вид типа /index.php?action=sitemap скормите ее в панели. Стучите в аську, посмотрим еще. Времени нет писать много.

[BIOHAZARD]

может дело всё же в контенте?
у меня индексация малых форумов 100%, 99% в индексе у Яши

[Idrassil]

Лично у меня контент слегка специфический, но Яндекс его не забраковал (в плане служба поддержки ни разу не сказала что я нарушаю какие то их правила). А может быть дело в домене .com ? Или это дурь, но где то слышал, что то ли яндекс, то ли рамблер предпочитают домен ру.

[Palich]

Карты сайта вида:
/index.php?action=sitemap;xml         
/sitemap-forum.xml (собрана вручную по всем правилам)
По контенту? Хм,ну да,в принципе мало контента,очень мало,но основная часть уник.,и эту малую долю яша должен по логике кушать.
И домен ру )
Мучаюсь как же вытащить форум.

[decebel2]

может дело всё же в контенте?
у меня индексация малых форумов 100%, 99% в индексе у Яши

Не сказал бы...Все форумы (самый большой на данный момент-более 20000 постов,  из которых  15000 не уник) индексятся прекрасно.

ИМХО поиск пользовательский ставьте, особенно на голых проектах, бот сидит постоянно.  (мнение спорное, но я в это верю, проверено не однократно.)

Могу приаттачить советы от яндекса в pdf, кому интересно...

[decebel2]

А может быть дело в домене .com ?

Нет, все нормально и с этим. У меня форум на org.ua был, 100% индекса.

[decebel2]

Карты сайта вида:
/index.php?action=sitemap;xml         
/sitemap-forum.xml (собрана вручную по всем правилам)

ГГ, только ссылочка с моего перовго поста изменилась на карту. Не находите? PHPSESSID
куда-то делось, да?

[Palich]

ГГ, только ссылочка с моего перовго поста изменилась на карту. Не находите? PHPSESSID
куда-то делось, да?

не понял ответа.

PHPSESSID зачем? это лишний код,генерируемый для каждого пользователя уникально,который для карты не нужен.
Сайтмап генерируется же.
и мой первый пост "Яша скушал 338 страниц(форум пока не развивается),но из 338 страниц в индексе только 1."
Карта сайта в порядке,раз скушал.ошибок и замечаний в обеих картах нет

[decebel2]

Повторюсь: Когда я писал первый ответ вам, то из под гостя на вашем форуме я увидел ссылку на карту, вида http://мойсайт.ru/PHPSESSID  и тд.

[Юзер1]

Спасибо вам, попробую так. Может как раз поможет.
В чем конкретно проблема - не знаю, с яндекса ответили только так. Думаю что это какие то особенности именно яндекса, ибо если были бы проблемы с моей стороны (неправильно настроил что то), то форум не индексировался бы гуглом.

Да алгоритмы работы у них разные. Попробуйте карту сайта и уникальный контент... Тоже куча проблем с индексацией была, сейчас сижу книжки изучаю.

[decebel2]

С той скоростью, с которой на сегодня поисковики меняют / дорабатывают алгоритмы-не один автор не успеет книги писать.

[Badman]

у меня вобще через реврайт сделана мой.сайт/sitemap.xml

[Palich]

И всё таки вопрос остался.Сможет кто-нибудь подсказать что ж не так,что упустил? 

[Yworld_garry]

И всё таки вопрос остался.Сможет кто-нибудь подсказать что ж не так,что упустил? 

1 Контента нет и соответственно ботам нечего делать.
2 В гугле у вас так же один мусор в индексе. Из 253 урлов в индексе, кроме главной нет ничего нужного. Только мусор и дубли.
2 Роботс не правильный и соответственно и индекс кривой в гугле. (не вникал)
3 Для яндекса стоит разрешение на все в роботс( не вникал). Пройдя быстророботом он выкинул всё кроме главной. Остальное имеет при таком разрешении мего количество дублей и не может присутствовать в индексе.
Хост пишут слитно с блоком.

Если решили использовать роботс, то сделайте правильно из одноименной темы.

[FuzzyL]

Чтобы Яндекс лучше индексировал форум, нужно его добавить в список поисковых роботов. Тогда для него не будут генерироваться сессии.
Также стоит добавить XML-карту форума и прописать правильный robots.txt с закрытыми дублями страниц.

У меня после таких мер Яндекс, как и Гугл впрочем, с форума не слезают. Индексируют странички с интервалом от нескольких минут до нескольких десятков минут.

[decebel2]

Понеслась:
*После установки форума делаем следующие вещи:

1. Открываем файл index.template.php и находим в нем строку

Код Выделить Развернуть

<meta name="robots" content="nofollow" />'; меняем на

Код Выделить Развернуть

<meta name="robots" content="index, follow" />';

2. Открываем index.russian.php, находим

Код Выделить Развернуть

$txt['forum_index'] = '%1$s: Главная страница'; добавляем описание главной:

Код Выделить Развернуть

$txt['forum_index'] = '%1$s:небольшое, уникальное и лаконичное описание описание вашего форума, его главной страницы';

3. Админка>Характеристики и настройки>Ключевые слова соответствующие форуму/ Пишем перечень слов, явно имеющихся на странице вашего проекта, 20-30 слов достаточно.

4. Устанавливаем мод sitemap (карта форума)

5 Регистрируемся здесь и здесь. Находим в панелях строку "файлы sitemap" и скармливаем поисковикам карту сайта, добавленную нами на четвертом шаге проекта. Выглядит ссылка так: http://www.мойсайт.ru/index.php?action=sitemap;xml   

6. В корень кидаем robots.txt, любезно выложенный Garry вот тут.

7. Устанавливаем на форум пользовательский поиск google и яндекса, убив двух зайцев: Во первых предоставляем пользователям шанс быстро найти нужную им информацию, во вторых ускоряем индексацию форума указанными выше поисковиками.

8. Создавая разделы и темы думаем над их названием: Называйте так, как вы искали бы ее в поисковике. Не стоит доходить до фанатизма, но судите сами: Назвав тему "simplemachines" наряд-ли удастся дождаться русскоязычного пользователя от google, но если назвать тему "Русский форум simplemachines" , да еще и описание ей красивое придумать...Есть шансы.

9. Определяемся над сутью проекта: Вам нужен целевой пользователь? Пишем уникальный текст, причем часто. Поисковики не станут индексировать форум, на котором нечего индексировать. САПА? Тогда скупаем ссылки,  растим тиц, бросаем читать дальше.

*Экономим время, не пытаясь сделать следующую ерунду:

1. Установить ЧПУ, генераторы ключевых, и тд.
-нет нормальных вариантов для SMF, нет

2. Пытаясь запостить все и всех ссылками на свой форум
-Это практически бесполезно (я имею ввиду соц закладки, каталоги, гостевые и прочее) В этом случае варианта два: Хороший-улучшение индексации, если есть, что индексировать. Плохой-загнать форум свой под фильтры ПС. Да, ссылки нужны, но откуда они, и в каком количестве-очень важно.

3. Модернизировать robots.txt
-Все уже давно сделано за вас.

4. Покупать беки.
-Как говаривал Garry это наркотик.

5. Пытаться достичь недостижимого.
-Я о топе ПС по сотне запросов, придуманных вами. Это не возможно, но многие пытаются. Определитесь с несколькими запросами и двигайте форум в этом направлении. Если не выйдет, ищите специалистов.

Изложенное здесь-частые вопросы в ICQ, личный опыт, советы Garry  и других участников форума. Все, что описано-ИМХО, успешно работающее уже более года. Это не все, что хотелось написать, но сигареты кончаются, скоро будет трудно...
                                                                                                                                               

  Decebell.

[Макар]

Понеслась:

*Экономим время, не пытаясь сделать следующую ерунду:

1. Установить ЧПУ, генераторы ключевых, и тд.
-нет нормальных вариантов для SMF, нет

2. Пытаясь запостить все и всех ссылками на свой форум
-Это практически бесполезно (я имею ввиду соц закладки, каталоги, гостевые и прочее) В этом случае варианта два: Хороший-улучшение индексации, если есть, что индексировать. Плохой-загнать форум свой под фильтры ПС. Да, ссылки нужны, но откуда они, и в каком количестве-очень важно.

3. Модернизировать robots.txt
-Все уже давно сделано за вас.

4. Покупать беки.
-Как говаривал Garry это наркотик.

5. Пытаться достичь недостижимого.
-Я о топе ПС по сотне запросов, придуманных вами. Это не возможно, но многие пытаются. Определитесь с несколькими запросами и двигайте форум в этом направлении. Если не выйдет, ищите специалистов.

Изложенное здесь-частые вопросы в ICQ, личный опыт, советы Garry  и других участников форума. Все, что описано-ИМХО, успешно работающее уже более года. Это не все, что хотелось написать, но сигареты кончаются, скоро будет трудно...
                                                                                                                                               

  Decebell.

подпишусь под этими словами , так как целиком разделяю приведенные аргументы, спросите меня и я ответил бы вам так же

немного  IMHO, от себя
1. мало того что нет , так и  не нужны

2. если самостоятельно продвигаете проект то предстоит оОочень много регистрироваться и писать , не ленитесь на том рессурсе где хотите оставить ссылку на себя, написать как минимум 10-15 сообщений. И сообщение в котором вы разместите свою ссылку не должно быть последним, и состоять из одной только ссылки. Важен текст окружения, и сам анкор ссылки.

3. 

4. деньги имеют свойство заканчиваться  при их отсутствии начинают мигать ваши ссылки что не есть хорошо, и за что можно получить сакции от ПС

5. в начале поста Decebel шло упоминание о ключевых словах. Стоит также выяснить для себя момент что такое семантическое ядро сайта/форума , высоко / средне / низко /  частотные запросы в ПС  и не пытаться на первых порах выйти в ТОП ПС по ВЧ запросам. Первые 6 месяцев ваш удел НЧ запросы , возможно СЧ. Добейтесь по ним выдачи в первой 10-20 и тогда принимайтесь за ВЧ запросы. (хотя, иногда, при наличии адекватной информации ваш проэкт может выстрелить в ТОП 10 и по ВЧ за более короткий промежуток времени)

[decebel2]

А вот собственно, что говорит об этом Яндекс:

[Макар]

желающие могут найти в сети програму site-auditor , программа бесплатна и распространяется ведущим аналитиком СЕО http://ru.wikipedia.org/wiki/Игорь_Ашманов

програмка будет очень полезна на первых шагах работы со своим проэктом

[decebel2]

Еще один важный момент, проверенный вчера на нескольких проектах:
Многие думают, что старый домен-залог успеха...Это не совсем так. Есть ряд факторов, готовых свалить проект, домену которого уже более двух лет:
Момент первый-резкая смена дизайна форума или сайта.
Резкое изменение описания (description)
Остальные факторы пока не проанализировал, но за эти два готов ручаться. Речь идет не о форумах, а о проектах, форумы на которых имеют место быть. Есть еще пару моментов, но они пока под сомнением-жду яндекс.

[decebel2]

Makar, с Рамблера тоже траф идет, хоть и не много Ищи проблему, скармливай свой форум...

[Макар]

На рамблер я пока забил большой . . . . Возможно вернуть к нему позже.
4го был ап гугла, у меня теперь пр2 а у некоторых внутренних страниц 3 , был ап и у яши, но для меня без изменений   буду начинать второй круг наращивания мышечной массы. Конечно не в тему, но как раз таки почему то гугл хуже индексирует чем яша, хотя после отключения чпу, дела с гуглом пошли на лад, хотя бы первые страницы тем появились в выдаче. Надеюсь со временем и вторые третьи и последующие проиндексирует.

[decebel2]

На рамблер я пока забил большой . . . .

Могу поправить, с твоего согласия. Плюсик потом поставишь

[Palich]

Вытащил немного форум.Как  я понял виной был "refresh",его убрал и яша форум подцепил.будем заниматься дальше,спасибо за помощь

[kak2z]

7. Устанавливаем на форум пользовательский поиск google и яндекса, убив двух зайцев: Во первых предоставляем пользователям шанс быстро найти нужную им информацию, во вторых ускоряем индексацию форума указанными выше поисковиками.

Как это делается ? Этот мод http://dragomano.ru/page/customsearch подходит? Я насколько помню в поисковике надо как то специально настраивать поиск по сайту. Расскажите пожалуйста.

[kak2z]

Вытащил немного форум.Как  я понял виной был "refresh",его убрал и яша форум подцепил.будем заниматься дальше,спасибо за помощь

Что такое рефреш? И где он находится?)

[decebel2]

Всем привет! Я соскучился по этому форуму Блин, сколько сам писал о индексации ПС, и сам попал в капкан: Проекту около месяца, форум. Все сделано в лучших традициях, но...В индексе яндекса 12 страниц. Было 14, отвалилась одна, потом еще одна. Что не так-хоть убей не понимаю. Форум открыт для индексации, robots в норме, sitemap скормлен. Помимо всего прогоняю по социалкам, твиттер опять-же. Вот такая вот ботва

[decebel2]

Как это делается ?

Поиском по этому форуму поищите, это поднималось. Слова для поиска "пользовательский поиск". Та ссылка, что вы указали-не то.

[Yworld_garry]

Всем привет! Я соскучился по этому форуму Блин, сколько сам писал о индексации ПС, и сам попал в капкан: Проекту около месяца, форум. Все сделано в лучших традициях, но...В индексе яндекса 12 страниц. Было 14, отвалилась одна, потом еще одна. Что не так-хоть убей не понимаю. Форум открыт для индексации, robots в норме, sitemap скормлен. Помимо всего прогоняю по социалкам, твиттер опять-же. Вот такая вот ботва

Без просмотра пациента сказать нечего.

[decebel2]

К сожалению не могу показывать... Одним из условий договора с клиентом  была конфиденциальность проекта ( не знаю, для чего). Кстати, проверил только-что, уже 8 страниц. Проект о спорте, покупных ссылок нет. Под фильтра не попадал, движок smf. Кстати, в яндексе не могу не один sitemap добавить, не проверяют. У всех так?

[Yworld_garry]

К сожалению не могу показывать... Одним из условий договора с клиентом  была конфиденциальность проекта ( не знаю, для чего).
Под фильтра не попадал, движок smf.
Кстати, в яндексе не могу не один sitemap добавить, не проверяют. У всех так?

Тогда зачем ему яндекс. Условия договора выполняются
Все может быть и фильтры разные и санкции. Тем более ему месяц. Быстроробот наиндексил, потом странички выпадают. Апчик другой и будут в сети. При условии уника, не зафильтрованности и тд.
Бывает такое в панельке.

[decebel2]

Вот это да. Прикрутил к форуму поиск от яндеса, за ночь в индексе +107 страниц. С сайтом, расположенным в корне ситуация не изменилась. Индексить его никто не стал. Люди, ставьте пользовательский поиск!

[vesna]

3. Админка>Характеристики и настройки>Ключевые слова соответствующие форуму/ Пишем перечень слов, явно имеющихся на странице вашего проекта, 20-30 слов достаточно.

Это, конечно, хорошо, но в "характеристиках и настройках" нет такого пункта.

[Макар]

Это совет относящийся к 2йке . Если не изменят память в 1це надо шаблон править.

[vesna]

в 1це надо шаблон править.

Если можно, поподробнее. Какие файлы править, что на что менять?
И кстати, может кто подскажет. Куда лучше вставлять строку вида

Код Выделить Развернуть

$txt['forum_index'] = '%1$s: Главная страница';
в index.russian.php. У меня её там нет.

[Макар]

Поищи
- ключевые слова, метки, теги
- кнопка в меню, на сайт, доп кнопка .

[Serifa]

Вот ужась-то. Расскажу, только вы не смейтесь. Зашла случайно в "Яндекс. Мои сайты" - ну, некогда все время, да и забываю... а там совсем другой сайт, вместо моего! то есть, он был мой, но давно, теперь домен в блокировке стоит! Удалила, конечно, сейчас пропишу уже правильный))