Cообщество пользователей SMF

В первом сообщение темы, есть пример.

Цитата: GeorG от 19 мая 2015, 00:15:04
В первом сообщение темы, есть пример.

Да тут-то и загвоздка, где первый, а где последний роботс - не пойму!
Обновление robots.txt от 26.03.2015 г. - вот под этим ниже или самый первый в посте (скрин)? Рекомендации по sitemap и прочее я понял, а где основной полноценный роботс?

Цитата: GeorG от 19 мая 2015, 00:15:04
В первом сообщение темы, есть пример.

Извиняюсь, все понял. Первое сообщение - актуальные версии в zip)))

Цитата: janis79 от 19 мая 2015, 00:02:26
Очень интересный здесь пост. Вот с wordpress я изучил досконально robots, а с форумом SMF 2.0.10 впал в полный ступор. Подскажите пожалуйста, вот здесь форум на поддомене в корне сайта - http://forums.kruto-text.ru/, пока форум голый и без модов. Какой для него нужен robots, может дадите пример и если есть таков (буду очень признателен), то можно немного с пояснениями, а то пока в неведении просто. Мне хотя бы немного вникнуть, я быстро разберусь.

в первом сообщении данной темы есть вложение в котором и есть robots.txt используйте его

Цитата: Yworld_garry от 22 апреля 2014, 00:30:12
http://zapchasti-kadett.in.ua/robots.txt

Disallow: /forum/*go.php #Установить мод и настроить, попробуйте тут перейти по вот этой внешней ссылке и увидите его работу. http://tv.yandex.ru/2/
Про ноиндекс не берите в голову, все ок будет.

Host: zapchasti-kadett.in.ua # если это главное зеркало

перед этим пропуск строки
User-agent: Slurp
Crawl-delay: 100

Вот все понял, кроме этой строчки Disallow: /*go.php (у меня форум в корне сайта). Что означает этот запрет и какой мод установить, если честно - вообще не понял. Объясните подробнее пжл?

Цитата: janis79 от 21 мая 2015, 17:26:02и какой мод установить,

http://www.simplemachines.ru/index.php?topic=10393.0
все внешние ссылки не занесенные в белый список мода будут идти через go.php, а он запрещен в  файле роботс, ссылочный вес не будет "утекать"

Цитата: BoPoH от 21 мая 2015, 17:56:45
http://www.simplemachines.ru/index.php?topic=10393.0
все внешние ссылки не занесенные в белый список мода будут идти через go.php, а он запрещен в  файле роботс, ссылочный вес не будет "утекать"

А вот это уже интереснее... То есть внешние ссылки не в БС будут редиректить обратно на форум. Это хорошая вещь, ведь сейчас rel=nofollow  не спасает, у меня на блоге все ссылки авторов комментариев загнало в индекс, я их сделал через тег span (при этом они открываются), вот жду их "убийства" теперь. Скажите, а ведь можно с админки форума вообще отключить ссылки?

Интересно, почему по роботсу (с первого сообщения) - запрещены к индексации разделы? Ведь они уникальны и с описанием обычно. Также вот эти строки странные:
Allow: /Themes/*.css
Allow: /Themes/*.js
Зачем эти файлы и скрипты индексировать Гуглботу?

Цитата: janis79 от 26 мая 2015, 17:01:07
Интересно, почему по роботсу (с первого сообщения) - запрещены к индексации разделы? Ведь они уникальны и с описанием обычно. Также вот эти строки странные:
Allow: /Themes/*.css
Allow: /Themes/*.js
Зачем эти файлы и скрипты индексировать Гуглботу?

http://googlewebmastercentral.blogspot.ru/2014/10/updating-our-technical-webmaster.html

Цитата: BoPoH от 26 мая 2015, 17:15:56
http://googlewebmastercentral.blogspot.ru/2014/10/updating-our-technical-webmaster.html

Ха, даже не знал об этом. Спасибо за инфу. Но вот разделы форума я думаю лучше открыть.

Цитата: janis79 от 26 мая 2015, 18:02:59
Ха, даже не знал об этом. Спасибо за инфу. Но вот разделы форума я думаю лучше открыть.

А где вы видите закрытые разделы?

Цитата: BoPoH от 26 мая 2015, 19:44:30
А где вы видите закрытые разделы?

Disallow: /*PHPSESSID
Я так думаю, перед этой директивой нужно поставить так: Allow: /*board
P.S. Роботс я скачивал (файл zip - последняя версия в первом сообщении).

Цитата: janis79 от 26 мая 2015, 19:50:35Disallow: /*PHPSESSID

это не закрытые разделы, это сессии, их не должно быть в выдаче

А вот подскажите, если раздел закрыт для гостей и ботов, надо его дополнительно в роботсе закрывать? А то вдруг яндекс там ругаться будет, что его не предупредили, а он пришел — а там закрыто!

лучше закрыть, не будет зря пытаться залезть.

надо закрыть вот эти разделы:
http://forroll.org/index.php?board=224
http://forroll.org/index.php?board=225
http://forroll.org/index.php?board=227

и все подразделы вот этого раздела и сам раздел:
http://forroll.org/index.php?board=13

как это сделать оптимально?

Disallow: /*board=224
или просто если ни с чем не пересекается
Disallow: /*225
Disallow: /*227

то есть, просто все подразделы указывать подряд? или через запятую как-то можно в одной строке?

Цитата: Serifa от 03 августа 2015, 14:36:46то есть, просто все подразделы указывать подряд? или через запятую как-то можно в одной строке?

В одной строке нельзя, подряд придется, если нельзя весь раздел закрыть, а только подразделы, то придеьтся перечислять

прописал в роботс
Disallow: /*topic=290
и как оказалось это правило блокирует не только топик 290 но и еще кучу 290*  и вот что то я не догоняю как блокировать только 1 топ?

Цитата: BoPoH от 24 августа 2015, 20:51:44прописал в роботс
Disallow: /*topic=290
и как оказалось это правило блокирует не только топик 290 но и еще кучу 290*  и вот что то я не догоняю как блокировать только 1 топ?

Disallow: /*topic=290.

В принципе что бы быть полностью уверенным дописать в конец конкретно блокируемого $ и тогда будет блочить только то что написали.
По умолчанию к любой строке без символа дописывается *

Disallow: /*topic=290.$

Частенько наблюдаю ботов которые пытаются соеденить,разделить,ответить или создать голосования в существующей теме.Иногда пытаются создать новую тему.Можно им как-то запретить эти действия?

Цитата: Stalker от 02 октября 2015, 20:23:30Частенько наблюдаю ботов которые пытаются соеденить,разделить,ответить или создать голосования в существующей теме.Иногда пытаются создать новую тему.Можно им как-то запретить эти действия?

Только если вычислить что за боты...

Цитата: Yworld_garry от 02 октября 2015, 20:34:18Только если вычислить что за боты...

Извиняюсь что не указал сразу,это Гугл и Яндекс.Они в основном стараются за глобалами повторять.Разделяет глобал тему,ныряют следом и стараются повторить...Ну и так далее.

Попробуйте типо того

Disallow: /*action=editpoll

в общем все что надо им запретить вынесете в запрет(копируя ссылку как выше), через какое то время перестанут ползать. Но на самом деле оно все рано не индексируется и если только в части убрать лишнюю нагрузку, не думаю что именно в этом плане оно критично.

Цитата: Yworld_garry от 02 октября 2015, 20:46:41Но на самом деле оно все рано не индексируется и если только в части убрать лишнюю нагрузку, не думаю что именно в этом плане оно критично.

Понял,раз не индексируются то не критично,пускай шастают хоть стадом - сервер свой - не критично грузят.

Приветствую. Что не так с индексацией карты сайта???
В Яндексе и Гугл два месяца идет обработка... Добавил этот url: http://***.com/index.php?action=sitemap;xml (в Яндексе).
в Гугле: /index.php?action=sitemap;xml и /index.php?action=sitemap.

В яндексе проверил: http://***.com/index.php?action=sitemap - пишет: Указанный URL запрещен к индексированию в файле robots.txt.
Пробовал удалять: Disallow: /index.php?action=sitemap (не знаю правильно ли делаю), всё равно пишет ошибку.

Как прописать чтоб карта норм индексировалась?
 
Сам robots:
User-agent: *
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /index.php?action=sitemap
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://***.com/index.php?action=sitemap;xml


User-agent: Googlebot
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /index.php?action=sitemap
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://***.com/index.php?action=sitemap;xml


User-agent: Yandex
Allow: /*sitemap;xml
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Disallow: /index.php?action=sitemap
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://***.com/index.php?action=sitemap;xml
Host: ***.com

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

Зайдите в вебпанель одного из поисковиков, там есть проверка файла роботс. Укажите путь до карты которую блокируют, там будет обозначено правило которое это делает.

Скажите, пожалуйста, актуален ли файл robots.txt, что находится во вложении в заглавном сообщении темы?

Ещё один вопрос... Если у меня на хостинге есть папка мой_домен.ру, а в ней находятся файлы моего форума, то получается, что у меня форум не в корне сайта?

Цитата: Perm от 09 ноября 2015, 19:28:27Скажите, пожалуйста, актуален ли файл robots.txt, что находится во вложении в заглавном сообщении темы?

1. в первом сообщении всегда актуальная версия robots.txt
2. Прочтите правила форума в особенности п.6

Цитата: Avdenago от 29 января 2008, 14:37:43Если вы отправили сообщение, а спустя пять минут у вас снова появились мысли - не ленитесь, отредактируйте предыдущее сообщение. Не стоит оставлять два, три сообщения подряд (Это в ваших же интересах. Ведь время, которое Администрация потратит на наведение порядка в темах она могла потратить на поиск ответа на ваш вопрос). Время редактирования сообщения 24 часа.

Цитата: Perm от 09 ноября 2015, 20:01:10Если у меня на хостинге есть папка мой_домен.ру, а в ней находятся файлы моего форума, то получается, что у меня форум не в корне сайта?

3. если форум открывается по адресу мой_домен.ру значит в корне если мой_домен.ру/папка значит нет

Цитата: Mavn от 09 ноября 2015, 20:38:093. если форум открывается по адресу мой_домен.ру значит в корне если мой_домен.ру/папка значит нет

Спасибо.

Добавил файл robots.txt в корень форума. При попытке проверки через Search Console получаю сообщение: "Файл robots.txt не найден (404)". Яндекс ошибки  не выдаёт, получаю следующее сообщение:

ЦитироватьИспользуемые секции
Строка
   
24-24   
Sitemap: http:// my_site.ru/ sitemap.xml
53-53   
Sitemap: http:// my_site. ru/ sitemap .xml
56-80   
User-agent: Yandex
Allow: /*sitemap
...
Host: www. my_site .ru

Проверил через панель управления хостинга - файл robots.txt на месте.

Подскажите, пожалуйста, в чём тут дело?

Добавлено:

Теперь всё нормально, кроме одного предупреждения Гугла. Но он по-прежнему просматривает профили участников. Нормально ли это?

Цитата: Perm от 09 ноября 2015, 20:43:31Теперь всё нормально, кроме одного предупреждения Гугла. Но он по-прежнему просматривает профили участников. Нормально ли это?

Нормально если robots.txt  как то не модернизировали на предмет открытия для ботов профилей. Просматривает, это не значит что будет индексировать.
Если все штатно и правильно размещен сам файл, проблем быть не должно.

Подскажите пожалуйста как граммотно заблокировать этого бота - Baidu ?
Явно тянет за собой китайских спамеров,заглянул в CleanTalk в логах ,за последнюю неделю в глазах зарябило от иероглифов

Так же верно?
User-agent: Baiduspider
Disallow:

Цитата: Stalker от 09 декабря 2015, 21:54:42Подскажите пожалуйста как граммотно заблокировать этого бота - Baidu ?

Что то типо того в .htaccess

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} имя бота по логам [NC]
RewriteRule ^(.*)$ – [F,L]

он хитрый, роботс не слушает и вообще сканит бесстыдно, хоть в 1000 потоков и положить может сервачек при определенных обстоятельствах.
конечно его лучше повыше блочить если есть возможность, если нет то .htaccess

То что бесстыдный это ещё мягко сказанно...
А повыше,его можно файрволом заблочить на сервере,точнее таким как fail2ban.Это идея...  
Запрещу им доступ WEB по айпишникам...Пускай гуляют.

Обновил в шапке архив с файлом robots.txt.
Яндекс начал индексировать JavaScripts и CSS-файлы.

ЦитироватьТак поисковик сможет оценить удобство интерфейса сайта, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске.

«Если эти данные позволят предоставить пользователям нашего поиска лучший ответ по какому-либо запросу, то в ранжировании мы будем использовать именно версию, полученную с использованием JavaScripts и CSS», - сообщается в официальном сообщении.

Т.е. сайты, уделяющие значительное внимание своему дизайну и интерфейсу, могут оцениваться Яндексом выше. Сейчас нововведение тестируется и применяется для небольшой части сайтов, но объем индексируемых таким образом ресурсов Яндекс обещает расширять. Поэтому уже сейчас поисковик рекомендует владельцам и разработчикам сайтов открыть файлы с JavaScripts и CSS в robots.txt.

Несомненно, это шаг вперед. Но следом за Google.

В блок для яндекса добавлено:

Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js
Allow: /forum/Themes/*png
Allow: /forum/Themes/*gif
-------------------------------
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif


Я так понимаю это можно и в общий блок добавить?У меня он один,для всех.

Цитата: Stalker от 15 декабря 2015, 21:02:29Я так понимаю это можно и в общий блок добавить?У меня он один,для всех.

Да, конечно.

Мне нужно закрыть для индексирования следующий раздел моего форума - http://maths24.net/index.php?board=71.0, а также профили участников. Подскажите, пожалуйста, как это сделать. Что ещё нужно закрыть, чтобы улучшить индексирование?

Вот мой robots.txt:

User-agent: *
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://maths24.net/sitemap.xml


User-agent: Googlebot
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://maths24.net/sitemap.xml


User-agent: Yandex
Allow: /*sitemap
Allow: /*rss
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://maths24.net/sitemap.xml
Host: www.maths24.net

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

Был просто форум, сейчас снова добавился портал. Какие меры принять?
При этом авторы PortaMx пишут, что:

Enable the Frontpage indexing for spider.
If checked, the Frontpage content can be indexed by spiders like google

Цитата: Perm от 21 декабря 2015, 14:04:04Мне нужно закрыть для индексирования следующий раздел моего форума -

Добавьте и проверьте в панелях яндекса и гугла.

Disallow: /*board=71.0Профили уже закрыты в вашем файле.

Цитата: Serifa от 26 декабря 2015, 01:51:16Был просто форум, сейчас снова добавился портал. Какие меры принять?

Индексный по идеи должен быть открыт и итак, но сам форум, насколько я вижу из профиля, сейчас по адресу community

По этому стоит добавить и конечно проверить все в панелях яндекса и гугла.

Allow: /*communityили
Allow: /*action=community

Enable the Frontpage indexing for spider.
If checked, the Frontpage content can be indexed by spiders like google

И возможно есть какая то настройка в портале PortaMx, что бы включить индексацию Frontpage, я не знаю, негде посмотреть сейчас.

И кстати некоторые темы дают 503 ошибку при переходе к ним с главной.

Цитата: Yworld_garry от 26 декабря 2015, 12:28:57Добавьте и проверьте в панелях яндекса и гугла.

Спасибо. А закрытие раздела от гостей не означает закрытие его для поисковых машин?

Цитата: Perm от 26 декабря 2015, 13:15:15А закрытие раздела от гостей не означает закрытие его для поисковых машин?

В принципе да, но так как в форуме заложены разные правила для ботов поисковиков, в настройках этих ботов в админке.
Лучше подстраховаться в robots.txt и закрыть и там.

Цитата: Yworld_garry от 26 декабря 2015, 13:24:36Лучше подстраховаться в robots.txt и закрыть и там.

Большое спасибо. Тогда закрою через robots.txt.

@Yworld_garry а разве

Цитата: Yworld_garry от 26 декабря 2015, 12:28:57Disallow: /*board=71.0

поможет от индексации тем расположенных в этом разделе? в урлах тем не присутствует "board=71.0" и правило не отработает. Я для закрытия разделов ставил мод "BoardNoIndex"

Цитата: BoPoH от 26 декабря 2015, 17:58:43Я для закрытия разделов ставил мод "BoardNoIndex"

Я давно его не смотрел, но может есть желание потестить у кого http://www.simplemachines.ru/index.php?topic=13490.0

А так, боты в сам раздел не будут лезть, но ссылки на темы в принципе найти могут, скажем по внешним, можно правила смастерить для групп которым там можно видеть.
Либо группу для ботов смастерить, которой будет не доступно все в этом разделе и туда их определить в настройках ботов.

Цитата: Yworld_garry от 26 декабря 2015, 18:16:26Я давно его не смотрел, но может есть желание потестить у кого http://www.simplemachines.ru/index.php?topic=13490.0

А так, боты в сам раздел не будут лезть, но ссылки на темы в принципе найти могут, скажем по внешним, можно правила смастерить для групп которым там можно видеть.
Либо группу для ботов смастерить, которой будет не доступно все в этом разделе и туда их определить в настройках ботов.

Установился отлично!   Далее время покажет.

Цитата: valdnieks от 26 декабря 2015, 18:38:49Установился отлично!   Далее время покажет.

Главное что бы работал как заложено в нем.
Но это уже все в тему того мода.