Индексация Yandex и Google

maxville · 12 ноября 2013, 18:14:01

Всем доброго вечера.

Накрутил что-то с robots.txt

и в итоге в яндексе у меня с форумом проблем нет, всё находится как надо, хорошие позиции. А вот с гугла мой форум "съехал" и практически его там нет. Можно ли как-то подправить robots.txt чтобы исправления не сказались на яндексе, т.е. всё осталось прежним, но решились проблемы с гуглом?

На форуме явно не хватает спойлера. Так бы спрятал начинку robots.txt туда.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /bans/

Allow: /forum/*sitemap
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php # либо тот редирект что стоит у вас

User-agent: Slurp
Crawl-delay: 5

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

Disallow: /forum/index.php?action=sitemap

Yworld_garry · 12 ноября 2013, 18:28:46

Позиции в гугле и роботс ни имеют в данном случаи ничего общего, надо искать причины в другом... если у вас там все правильно для этой системы и все проверили в панеле гугла

Вот эта строчка не в блоке, она не учитывается у вас Disallow: /forum/index.php?action=sitemap

И пробел уберите в блоке между этим, проверьте работу в панеле гугла или яндекса по урлам
Disallow: /bans/

Allow: /forum/*sitemap

И вот исправьте Disallow: /*PHPSESSID вот так Disallow: /forum/*PHPSESSID

Фисташка · 12 ноября 2013, 20:49:02

Цитата: maxville от 12 ноября 2013, 18:14:01А вот с гугла мой форум "съехал"

Съехал? 39 000 соплей.

maxville · 12 ноября 2013, 21:13:29

Цитата: Фисташка от 12 ноября 2013, 20:49:02
Съехал? 39 000 соплей.

Фисташка, я читал последние ваши ответы в других топиках, надеялся что вы пройдете мою тему мимо

тк все уже поняли что вы очень умная и знаете всегда что именно не так. Поможете и мне разобраться?

Отправлено из моего iPhone используя Tapatalk

Фисташка · 12 ноября 2013, 23:51:24

https://www.google.com.ua/search?q=site:russiancfg.ru

Результатов: примерно 39 300 - всего

https://www.google.com.ua/search?q=site:russiancfg.ru/&

Результатов: примерно 184 - Основной индекс (Участвующий в поисковой выдаче)

39 300 - 184 = 39 116 - Supplemental (Сопли, дополнительный индекс, не участвующий в основной поисковой выдаче)

Вывод: Сопливый сайт.

P.S. Это основы, как этого не знать? Почему так много в дополнительном индексе?

maxville · 13 ноября 2013, 10:18:11

Цитата: Фисташка от 12 ноября 2013, 23:51:24Результатов: примерно 184 - Основной индекс (Участвующий в поисковой выдаче)

39 300 - 184 = 39 116 - Supplemental (Сопли, дополнительный индекс, не участвующий в основной поисковой выдаче)

Вывод: Сопливый сайт.

т.е. у меня проиндексировалась всякая не нужная хрень. Можно ли всё это удалить? Может у вас есть интересная статья на эту тему или ссылка, поделитесь пожалуйста.

Фисташка · 13 ноября 2013, 10:58:05

Цитата: maxville от 13 ноября 2013, 10:18:11
т.е. у меня проиндексировалась всякая не нужная хрень. Можно ли всё это удалить? Может у вас есть интересная статья на эту тему или ссылка, поделитесь пожалуйста.

Сосотавьте robots.txt таким образом, что бы индексировались канонические адреса (canonical). Все не нужные (не несущие полезной информации) страницы не должны индексироваться (профиль, страница регистрации, принт, вап ...).

P.S. Где почитать не знаю. На этом форуме много информации, и интернет кишит SEOшниками.

maxville · 13 ноября 2013, 10:58:58

а яндекс разве как-то по другому устроен? почему с ним таких проблем нет?

Фисташка · 13 ноября 2013, 12:54:23

Цитата: maxville от 13 ноября 2013, 10:58:58
а яндекс разве как-то по другому устроен? почему с ним таких проблем нет?

Если судить по количеству проиндексированных страниц, то как раз с яндексом проблемы, там страниц в выдаче меньше ~400, а в гугл 39 000.

maxville · 13 ноября 2013, 14:45:59

Цитата: Фисташка от 13 ноября 2013, 12:54:23Если судить по количеству проиндексированных страниц, то как раз с яндексом проблемы, там страниц в выдаче меньше ~400, а в гугл 39 000.

так может в яндексе как раз нет "мусора" из моего форума и сайта. В любом случае ко мне 90% всего трафика идёт из яндекса, причём на все возможные темы, при минимальном отказе. Раньше, до весны этого года у меня форум был без сайта, а потом стал по адресу сайт/forum (т.е. я его переместил). И вот до того как я поставил сайт, на место форума, у меня наоборот было - весь трафик шел через гугл, причём так же были отличные позиции в поисковике, а яндекса вообще не было.

Фисташка · 13 ноября 2013, 15:45:44

Переезд форума - если ничего в плане редиректа 301 не предпринималось, то ждите переиндексации. Стало больше переходов с яндекса - может сайт вышел из "песочницы"?

maxville · 13 ноября 2013, 15:50:01

Цитата: Фисташка от 13 ноября 2013, 15:45:44Стало больше переходов с яндекса - может сайт вышел из "песочницы"?

но сайт же не мог быть в песочнице 2.5 года

Редирект был на 3 топика, которые в гугле были на первых местах в поиске, и за пол года набралось по 10к просмотров этих топиков. Но вот только редирект не спас. И что-то пошло не так, что с гугла как я говорил выше "съехал" вообще. Неужели эти 39к "сполей" появились только при переезде форума?

Yworld_garry · 13 ноября 2013, 16:01:29

Сорри, сейчас не могу ответить в асе или скайпе(через часок)

Я же написал вам что поправить надо файл и проверить в панелях, у вас он кривой и тд!!! Причем в топике откуда вы его взяли, есть все что нужно для создания и настройки... под себя, включая ваш вариант, да и комментарии из него удалите...
Вот вам проверка из панелей гугла и яндекса вашего форума, не проверял дальше по урлам топиков и постов, но смысл думаю понятен будет куда копать и что проверять.

Яндекс

Для просмотра http://i.imgur.com/qjd32uX.png

Гугл

http://i.imgur.com/FQwoW5G.png

maxville · 13 ноября 2013, 16:03:50

Игорь, я пока домой не добрался, сегодня через пару часов смогу поправить. Я подумал может это не всё, на что нужно обратить внимание, и пока Фисташка настроенна помогать - я допытываю у неё советов

Фисташка · 13 ноября 2013, 18:01:06

Цитата: maxville от 13 ноября 2013, 15:50:01
но сайт же не мог быть в песочнице 2.5 года

Редирект был на 3 топика, которые в гугле были на первых местах в поиске, и за пол года набралось по 10к просмотров этих топиков. Но вот только редирект не спас. И что-то пошло не так, что с гугла как я говорил выше "съехал" вообще. Неужели эти 39к "сполей" появились только при переезде форума?

Вас индексация интиресует или позиции в поисковой выдаче? Если просели позиции, значит содержание не уникально.