Cообщество пользователей SMF

Всем привет. Подскажите пожалуйста. Столкнулся с ранее непонятной штукой.
Написал уникальную статью. Выложил на форум и по привычке решил скормить её яндексу. Ввёл ссылку. А мне выдал "Указанный URL запрещен к индексации в файле robots.txt на сайте.
Раньше проблем не возникало... Что это может значить и что делать?

Цитата: Dimon S. от 04 марта 2016, 13:10:22Всем привет. Подскажите пожалуйста. Столкнулся с ранее непонятной штукой.
Написал уникальную статью. Выложил на форум и по привычке решил скормить её яндексу. Ввёл ссылку. А мне выдал "Указанный URL запрещен к индексации в файле robots.txt на сайте.
Раньше проблем не возникало... Что это может значить и что делать?

Вы указали ссылку на сообщение.. а нужно указывать ссылку на топик)

Цитата: kak2z от 04 марта 2016, 14:07:47Вы указали ссылку на сообщение.. а нужно указывать ссылку на топик)

я взял её из браузера

Цитата: Dimon S. от 04 марта 2016, 14:20:20я взял её из браузера

Неважно откуда взяли, в правильном robots.txt запрещены ссылки на отдельные сообщения и разрешены только на страницы тем.

Цитата: digger® от 04 марта 2016, 14:23:28Неважно откуда взяли, в правильном robots.txt запрещены ссылки на отдельные сообщения и разрешены только на страницы тем.

То есть, как раньше я делал, брал из браузера ссылку на открытой теме, я делать не могу?
Нужно сслыку на список тем в разделе?

Цитата: Dimon S. от 04 марта 2016, 14:25:03То есть, как раньше я делал, брал из браузера ссылку на открытой теме, я делать не могу?
Нужно сслыку на список тем в разделе?

На название темы кликните и берите ссылку

Цитата: digger® от 04 марта 2016, 15:43:12На название темы кликните и берите ссылку

Так я так и сделал. Кликнул на название темы. Перешел в тему. Взял ссылку. А мне такое

Цитата: Dimon S. от 04 марта 2016, 22:23:05Так я так и сделал. Кликнул на название темы. Перешел в тему. Взял ссылку. А мне такое

Вы на название сообщения кликнули, а не темы, судя по ссылке.

Ага. Видимо я туплю. Получилось. Всем спасибо!

Гугл начинает ругаться на запреты такого вида
Disallow: /Smileys/
Disallow: /*action
и Аватары с формулировкой Поскольку в файле ...../robots.txt часть ресурсов заблокирована, эта страница может быть обработана некорректно.
Чтобы разблокировать ресурс, измените файл robots.txt....Из-за этого из поиска выкинул 909 страниц.Что делать,удалять эти запреты?

Цитата: Stalker от 27 мая 2016, 13:57:50Что делать,удалять эти запреты?

Примеры заблокированных ссылок скиньте сюда.
Смайлы не надо скидывать, тут на ваше усмотрение, можете открыть, не лучше, не хуже не будет, точнее это не даст никаких бонусов форуму.

Заблокированные ресурсы
Поскольку в файле https://yarik-sat.ru/robots.txt часть ресурсов заблокирована, эта страница может быть обработана некорректно.
Чтобы разблокировать ресурс, измените файл robots.txt.
URL:
https://yarik-sat.ru/index.php?topic=57.0
Ресурс:
https://yarik-sat.ru/index.php?action=loadeditorlocale
Файл robots.txt:
https://yarik-sat.ru/robots.txt


URL:
https://yarik-sat.ru/index.php?topic=1347.0
Ресурс:
https://yarik-sat.ru/index.php?action=loadeditorlocale
Файл robots.txt:
https://yarik-sat.ru/robots.txtПри проверке роботом горело красным то ресурс недоступен,изменил роботс на то как предложил гугл.Теперь горит зелёным доступно,нужно ждать переиндексации этих страниц.

А зачем вам в индексе вот это https://yarik-sat.ru/index.php?action=loadeditorlocale ?

Так вот на основании того что этого нет в индексе оно мне и перебанило почти 500 страниц.
С аватарами - получается робот заходит на страницу но не может считать аватар постившего - страница улетает в бан из-за запрета в роботсе.У меня почти 1000 таких страниц с руганью на то что в роботсе запрещены аватары,смайлы.

Цитата: Stalker от 28 мая 2016, 11:41:51У меня почти 1000 таких страниц с руганью

Это мусор который в индексе не нужен и это не ругань а просто констатация о закрытых страницах от индексации.
На больших проектах по 1000000 страниц закрытых, если открыть будет уже не то с позициями, ключами, плюс куча мусора которая уводит целевой запрос бог знает куда.
Такие страница открывают для рекламных систем гугла и яндекса, что бы реклама откручивалась везде на проекте и те кто торгуют ссылками.

Понял,короче просто забить на это и всё.Спасибо,нужно было так и сразу написать

Протупил,дошло