Индексация google

[Vadimru]

Проблема следующего характера. Когда то устанавливал Pretty URLs по определенным причинам снести пришлось. И думал я все хорошо, жил дальше. Как потом начали появляться страницы с ЧПУ в поиске, а так как их нет, то отображаются с ошибкой 404 и это не разовый глюк. Меняя новости, страницы индексируется также с ошибкой, но измененными новостями. То есть Гугл реагирует на эти страницы как на существующие и добавляет в поиск. Добавил около 7 тыс страниц. Но зачем нужны страницы 404. В чем может быть проблема, есть у кого то мысли? Яндекс же в ответ 200 с лишним добавил, это уже маловато, я Яндексе лишь первые страницы тем почему то. Форум в подписи

[Yworld_garry]

Приведите примеры урлов которые попадают или находятся в индексе и тд.
В общем примеры всех урлов проблемных и самых новых. Чем больше тем лучше.

А то, что то с утра тяжко понимать

Меняя новости, страницы индексируется также с ошибкой, но измененными новостями. То есть Гугл реагирует на эти страницы как на существующие и добавляет в поиск. Добавил около 7 тыс страниц. Но зачем нужны страницы 404. В чем может быть проблема, есть у кого то мысли? Яндекс же в ответ 200 с лишним добавил, это уже маловато, я Яндексе лишь первые страницы тем почему то.

[Vadimru]

Это не вы тяжко понимаете, видимо я плохо объясняю.
Вот посмотрите https://www.google.ru/search?q=site%3Aastrallife.ru&filter=0&ie=UTF-8&oe=UTF-8 все страницы Error 404 и страницы как эта astrallife.ru/katalog_jezoteriki/mistika/  она ЧПУ была преобразована. Я мод ЧПУ удалил, а подобные адреса в гугл добавляются
astrallife.ru/proverka_ljudej_na_sovmestimost/chto_nas_zdet/
astrallife.ru/blagodarnosti/blagodarnost/
Но их не должно быть на сайте, а они каждый раз снова индексируются, я думал вылетят со временем, но нет, просто обновляются.... От куда они появляются, в кэшэ видимо от мода, что-то осталось? Также может в роботс ошибка?

[Yworld_garry]

Я уже сегодня писал о ЧПУ и что бывает после того как его снять, особенно то что было у вас. Суть в том что обязательно нужно сочинить условие по которому будет запрещено ботам добавлять такие страницы в индекс. Гугл добавляет их из кеша и будет добавлять еще очень долго и могут они всплывать и через год и два.

Тут путь только один сочинять редирект 301 и/или добавлять правила в robots.txt. Иначе очень трудно будет занимать позиции стоящие.

[Vadimru]

Спасибо Вам, вот только как реализовать любой из указанных вами способов выше?

[Yworld_garry]

Тут есть еще одна тонкость, так как сайт отдает 404, то по идеи эти страницы должны выпасть из индекса через определенное время. Но так как они в кеше гугла, то будут регулярно появляться и мешать продвижению. И соответственно будут давать дубли контента исходя из самих правил гугла, понижая вес реальных страниц. гугл уже не будет на них или не будет их индексить. И бот гугла будет пытаться стучать на страницы с чпу, которого уже нет.
Получилось сумбурное объяснение, но думаю понятно.
Без правил запрещающих не обойтись иначе затянется на неопределенное время.

Для реализации нужно копаться с тем что есть и что было(исходя из этого уже "творить" правила), усиливать индексацию новых материалов всеми доступными средствами.
Причем новые материалы должны моментально загоняться в индекс и на текущий урл(без чпу) должны быть ссылки хотя бы с значимых сервисов закладок и соц сетей.

Реализовать это можно самому, в принципе все описал. Насчет 301 редиректа материалов в сети море, robots описан тут на форуме и как и что можно там регулировать(плюс маны яндекса).

Но все это требует много время( а сейчас я загружен), по этому есть вот такая моя тема http://www.simplemachines.ru/index.php?topic=13828.0
Все можно оговорить, любые даже не представленные там варианты и тд.
Прошу понять.

Повторюсь, либо подождать решение возможно кто то подкинет или появится время на анализ того что у вас есть.

[Vadimru]

Проблема в том, что боюсь таких страниц не 10, а тысяча. 301 редикт на все сразу не поставить же. В нельзя в гугле запрещать индексацию страниц на выбор? Где то прочитал возможен такой вариант.
Проблема запрещающих правил, что очень много страниц... Новые материалы добавляются моментально с обычными ссылками без ЧПУ. Много ссылок на материалы с соц сетей. По 20-30 пользователей ссылаются с популярных соц. сетей на многие страницы. Тему вашу прочитал и если будет найдено решение, то я готов воспользоваться услугами, вот только где это решение...

[Yworld_garry]

В гугл так же 10000 не засунешь, нужны какие то параметры и тд. Я как время будет подумаю как это дело ускорить.

[Yworld_garry]

На самом деле можно сделать запрет, точнее правило создать. Условие то есть, скажем даже очень веселое и будет работать. 
Время будет, проверю.

[Vadimru]

Отпишите тогда о результатах проверки, пока тоже покапаю Pretty URLs в поисках решения.
Пока лишь нашел как решение это ручное удаление из url в вебмастере гугла https://www.google.com/webmasters/tools/crawl-access?hl=ru&siteUrl=http://astrallife.ru/&tid=removal-list
Как вариант подойдёт думаю, только долго удалять придется, но если решения не найду, буду так удалять

[Yworld_garry]

Я посмотрю конечно, но тут Pretty бесполезно копать, все проще.

[Vadimru]

Я посмотрю конечно, но тут Pretty бесполезно копать, все проще.

.
В роботс разрешить, что можно индексировать, а всё остальное тупо запретить?
Об этом решении вы подумали?

[Yworld_garry]

В роботс разрешить, что можно индексировать, а всё остальное тупо запретить?

Нет конечно, я сейчас выбрал время и подправляю "генератор" robots.txt, включу и ваш вариант туда. Точнее попробую.
Возможно через часок другой дам урл на него.

Хотя все на самом деле просто.  У вас были ссылки вида astrallife.ru/blagodarnosti/blagodarnost/, теперь таких нет. Соответственно мы имеем две ненужные директории astrallife.ru/.. /.. /. В каждой присутствуют символы. В алфавите 26 букв это для роботс, для редиректа a-z.
Отсюда достаточно запретить индексацию первой папки и всего что после и так же сделать можно редирект. Но думаю хватит и robots.txt.

Как то так.

[Vadimru]

Нет конечно, я сейчас выбрал время и подправляю "генератор" robots.txt, включу и ваш вариант туда. Точнее попробую.
Возможно через часок другой дам урл на него.

Хотя все на самом деле просто.  У вас были ссылки вида astrallife.ru/blagodarnosti/blagodarnost/, теперь таких нет. Соответственно мы имеем две ненужные директории astrallife.ru/.. /.. /. В каждой присутствуют символы. В алфавите 26 букв это для роботс, для редиректа a-z.
Отсюда достаточно запретить индексацию первой папки и всего что после и так же сделать можно редирект. Но думаю хватит и robots.txt.

Как то так.

После того как вы сказали всё просто, приходил в голову такой вариант. Спасибо Вам. А что за "генератор"?

[Yworld_garry]

А что за "генератор"?

Скорее конструктор.
Собственно потихоньку сделаю более приемлемый вариант. На данный момент можно использовать, да и в принципе собрать для любого SMF.
Там будет всегда самый свежий и буду дополнять всякими изощренными (извращенными правилами).
На данный момент только что касается SMF, то что выше позже.

Находится тут

[TIGERUS]

А почему пришлось снести МОД? А то я тоже хотел поставить, или не стоит?

[Vadimru]

Ставьте, не бойтесь. Мне просто пришлось восстанавливать с бэкапа форум, а когда я после создавал новые темы форума они в разноброс принимали названия адресов ЧПУ тех страниц которые были до бэкап и естественно не соответствовали темам, где то кэш ЧПУ лежал, сейчас я его нашел и удалил(наверное его). И при повторной установки проблемы уже потом какие то были, в sape тож напряг из за смены адресов, но я тогда забил на нее

[TIGERUS]

Тогда ещё такой вопрос, раз уж встретил человека, работавшего с этим модом,
не знаете как сделать, чтобы адрес был не форум/раздел/пост, а форум/пост?

[Vadimru]

Тогда ещё такой вопрос, раз уж встретил человека, работавшего с этим модом,
не знаете как сделать, чтобы адрес был не форум/раздел/пост, а форум/пост?

Я почти не работал с этим модом, но сомневаюсь в такой возможности. Название урлов разделов помнится в ручную можно задавать, вот если и темы можно, то можно и вашу идею реализовать. Но я такой возможности в самом моде не помню. Да и я бы не стал так делать, ссылка третьего уровня должна быть третьего. Зачем рушить привычный порядок. Разве, что ссылками торговать выгоднее...

[Stern]

Проблема в том, что боюсь таких страниц не 10, а тысяча. 301 редикт на все сразу не поставить же. В нельзя в гугле запрещать индексацию страниц на выбор? Где то прочитал возможен такой вариант....

в вебмастере гугля можно задавать различные шаблоны страниц для индексации/запрета (пункт "параметры URL")

[Vadimru]

Хм, отличная идея. Вот только как правильно закрыть страницы типа /zhizn_ne_zemnaja/иВСЕурлыИЗраздела ну и подобные разделы.