Cообщество пользователей SMF

Всем привет. Глянул тут в яндексе вебмастер и увидел что исключенных страниц как много очень...
Всего 66000 страниц роботом загружено.
Но 62000 страниц исключены...
Итак уже много месяцев.
Как посмотреть что это за страницы и почему исключены?

Извините. Ступил
У меня на форуме всего 3600 тем...
Тогда откуда берутся 60000 запрещенных страниц?

Это видимо URL самих сообщений, которые закрыты в файле роботс, чтобы не было дублей.

Цитата: GeorG от 10 апреля 2016, 15:57:51Это видимо URL самих сообщений, которые закрыты в файле роботс, чтобы не было дублей.

Спасибо

Цитата: GeorG от 10 апреля 2016, 15:57:51Это видимо URL самих сообщений, которые закрыты в файле роботс, чтобы не было дублей.

Подскажите. А что будет если эти сами сообщения отдельно открыть и разрешить для индексации?
Вроде смотрю другие аналогичные сайты, их в поиске ищет и по названиям темы, и по отдельным сообщениям. Страниц в поиске у них в 2 раза больше, хотя существуют в 2 раза меньше

Цитата: Dimon S. от 18 апреля 2016, 06:51:13А что будет если эти сами сообщения отдельно открыть и разрешить для индексации?

Будут дубли и скорее всего скорый бан от ПС.

Цитата: Dimon S. от 18 апреля 2016, 06:51:13Подскажите. А что будет если эти сами сообщения отдельно открыть и разрешить для индексации?
Вроде смотрю другие аналогичные сайты, их в поиске ищет и по названиям темы, и по отдельным сообщениям. Страниц в поиске у них в 2 раза больше, хотя существуют в 2 раза меньше

Ничего не будет. У каждой страницы по ссылке на сообщение типа https://www.simplemachines.ru/index.php?topic=19117.msg159840#msg159840 есть
<link rel="canonical" href="https://www.simplemachines.ru/index.php?topic=19117.0">который и попадет в индекс.
Для коробочного форума можно вообще никакой robots.txt не делать, там все и так нормально будет индексироваться.

Я понял. Значит открывать смысла нет. Всем спасибо

Цитата: digger® от 19 апреля 2016, 13:03:50Для коробочного форума можно вообще никакой robots.txt не делать, там все и так нормально будет индексироваться.

Нужен по разным причинам, даже исключение той же 404 и регулирование выдачи. Да и канонический адрес штука полезная, но зачем давать ботам лишние 100500 урлов для постоянного скана, потом уже он будет разбирать что каноническое, что нет.
Лишняя нагрузка это даже не самое страшное, хотя и не маловажное. А вот то что сначала все скопом попадает в индекс, потом раскладывается на первичный и вторичный(упрощенно), а в гугле еще по соплям раскладывает и причем это все в индексе просто в сопливом...

В общем по любому нужен 
Кстати ни один ман ПС не отменяет роботс и в последнее время наоборот значимость повышают, так как скорость и мощности пс выросли в разы, скорость сканирования очень большая и не рекомендуется держать открытыми лишние и не нужные части сайта, дабы ни их ни себя не напрягать. Им думаю пофиг, а вот свой шаред и ли впс можно в легкую напрячь.

Хотя конечно, это дело и выбор каждого свой )))