Ip адреса User Agent поисковых систем

Mavn · 23 октября 2007, 00:10:09

В Версии smf 2.0.1.1 добавили новую функцию для работы с поисковиками. Типа определение поисковиков в какую нибудь группу пользователей и поисковики буду индексировать форум согласно прав данной группы на форуме.
Соответствено если у кого есть возможность составьте пожалуйста список поисковиков по следующим параметрам:
1. Название поисковика
2. User Agent поисковика
3. Блок ip адресов с которых заходить будет поисковик.
(3. Пункт не обязателен но желателен с учетом того что User Agent можно подделать)

Polar Bear · 28 октября 2007, 09:51:38

66.249.64.0 - 66.249.95.255 – Google

список буду дополнять )

Kab · 26 февраля 2008, 20:31:07

81.19.64.0 - 81.19.66.255 -Rambler

KapaBG · 26 февраля 2008, 21:59:49

Код Выделить

array ('agent' => 'Yandex/1.01.001 (compatible; Win16; I)', 'spidername' => 'Yandex основной индексирующий робот', 'spider' => true,),
array ('agent' => 'Yandex/1.01.001 (compatible; Win16; P)', 'spidername' => 'Yandex индексатор картинок', 'spider' => true,),
array ('agent' => 'Yandex/1.01.001 (compatible; Win16; H)', 'spidername' => 'Yandex робот, определяющий зеркала сайтов', 'spider' => true,),
array ('agent' => 'Yandex/1.02.000 (compatible; Win16; F)', 'spidername' => 'Yandex робот, индексирующий favicons', 'spider' => true,),
array ('agent' => 'Yandex/1.03.003 (compatible; Win16; D)', 'spidername' => 'Yandex робот, <Добавить URL>', 'spider' => true,),
array ('agent' => 'Yandex/1.03.000 (compatible; Win16; M)', 'spidername' => 'Yandex робот, <Найденные слова>', 'spider' => true,),
array ('agent' => 'YaDirectBot/1.0 (compatible; Win16; I)', 'spidername' => 'робот Рекламной сети Яндекса', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; C)', 'spidername' => '<простукивалка> Яндекс.Каталога', 'spider' => true,), 
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; Z) <простукивалка> Яндекс.Закладок', 'spider' => true,), 
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; D) <простукивалка> Яндекс.Директа', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; N)', 'spidername' => '<простукивалка> Яндекс.Новостей', 'spider' => true,),

KapaBG · 27 февраля 2008, 06:25:16

Цитата: http://www.rambler.ru/doc/faq.shtml#1111 Что прописывает робот в строке HTTP_USER_AGENT? Сообщите IP-адрес робота, чтобы я мог найти его в логах.

Наш HTTP_USER_AGENT - "StackRambler". IP-адреса могут меняться произвольным образом.

Цитата: http://turtle.ru/faq.html#44. Как отличить роботов системы Turtle?
Наши роботы при посещении сайтов выставляют заголовок:
User-Agent: TurtleScanner/version_number
Кроме того, роботы устанавливают поле "From:", в которое помещают адрес электронной почты контактного лица. В случае необходимости, можно всегда обратиться по этому адресу с вашей проблемой, связанной с деятельностью роботов Turtle.

HTTP_USER_AGENT = 'Mail.Ru/1.0'
HTTP_USER_AGENT = 'WebAlta Crawler'

Святой Исидор · 08 марта 2008, 23:30:32

77.88.24.0 - 77.88.27.255-Яндех

Святой Исидор · 30 марта 2008, 23:44:48

Описания роботов, зарегистрированные в системе
тут

Moonlight · 26 апреля 2008, 13:57:26

Полный список User Agent поисковиков, найденный мной за последний час.
Более 90 значений. Но, к сожалению без IP адресов..

В прилагаемом архиве SQL файл созданный скриптом "Sypex Dumper".
Пожалуйста, измените в этом файле значения "XX_spiders" на Свой_префикс_spiders базы данных!

После этого:
Очистить прежний список пауков в админ панели.
Сделать восстановление БД из резервной копии с помощью Sypex Dumper

Святой Исидор · 27 апреля 2008, 13:44:20

Цитата: Moonlight от 26 апреля 2008, 13:57:26
Полный список User Agent поисковиков, найденный мной за последний час.
Более 90 значений. Но, к сожалению без IP адресов..

В прилагаемом архиве SQL файл созданный скриптом "Sypex Dumper".
Пожалуйста, измените в этом файле значения "XX_spiders" на Свой_префикс_spiders базы данных!

После этого:
Очистить прежний список пауков в админ панели.
Сделать восстановление БД из резервной копии с помощью Sypex Dumper

регся и у тебя каждый час будет 45 пауков здесь

Controller · 19 февраля 2009, 16:37:04

Цитата: Святой Исидор от 27 апреля 2008, 13:44:20
регся и у тебя каждый час будет 45 пауков здесь

Офигеть, рекорд по статистике сразу перекрыло

Это типа замануха? Шоб реальные гости думали о серьёзной посещаемости форума?

Galina_ · 22 февраля 2009, 22:23:53

Цитата: Controller от 19 февраля 2009, 16:37:04
Офигеть, рекорд по статистике сразу перекрыло
Это типа замануха? Шоб реальные гости думали о серьёзной посещаемости форума?

А ничего с форумом не станет, страшно как то??

Святой Исидор · 22 февраля 2009, 22:26:41

Цитата: Galina_ от 22 февраля 2009, 22:23:53
А ничего с форумом не станет, страшно как то??

Я 3 года пользуюсь и не чего!!!

Galina_ · 22 февраля 2009, 22:28:17

Уговорили, регистрируюсь.))

Гад · 20 марта 2009, 00:22:29

Для 1.1.8 подобный плагин существует? Гугл явно не любит эти сессии, о чём говорит выдача уже на протяжении года

2 версию пока ставить неохота, жду финал..

Alexthelight · 17 июля 2009, 00:28:43

Помогите как внести ip адреса?

Святой Исидор · 17 июля 2009, 10:43:02

Цитата: Alexthelight от 17 июля 2009, 00:28:43
Помогите как внести ip адреса?

при помощи мода Yandex More Spiders

Alexthelight · 17 июля 2009, 13:56:15

Цитата: Святой Исидор от 17 июля 2009, 10:43:02
при помощи мода Yandex More Spiders

Немного не правильно поставил вопрос - как внести список ip адресов.

Версия 2.0 RC-1

Про мод где можно почитать? поиск мне рузультатов не дал

Святой Исидор · 17 июля 2009, 14:16:05

Цитата: Alexthelight от 17 июля 2009, 13:56:15
Немного не правильно поставил вопрос - как внести список ip адресов.

Версия 2.0 RC-1

Про мод где можно почитать? поиск мне рузультатов не дал

А вопрос зачем тебе ip адреса поисковиков?

а про моды здесь http://www.simplemachines.ru/index.php?topic=1418.15

Alexthelight · 17 июля 2009, 14:56:06

Цитата: Святой Исидор от 17 июля 2009, 14:16:05
А вопрос зачем тебе ip адреса поисковиков?

а про моды здесь http://www.simplemachines.ru/index.php?topic=1418.15

На форуме большинство скрыто от гостей. Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится

Этот мод для 1.1.9 версии

BIOHAZARD · 17 июля 2009, 15:29:11

Цитата: Alexthelight от 17 июля 2009, 14:56:06
На форуме большинство скрыто от гостей. Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится

Странный ты какой то.
Информацию поисковикам даёшь, а людям нет.
Но если они захотят, то могут посмотреть кэш в поисковике и не регистрироваться на сайте.
Зачем так издеваться над своими посетителями?

Alexthelight · 17 июля 2009, 17:15:25

Цитата: BIOHAZARD от 17 июля 2009, 15:29:11
Странный ты какой то.
Информацию поисковикам даёшь, а людям нет.
Но если они захотят, то могут посмотреть кэш в поисковике и не регистрироваться на сайте.
Зачем так издеваться над своими посетителями?

Пусть смотрят кеш если им хочется. На форуме много переводов, просто читателей не хочется иметь...пусть со стороны посетителей будут хоть какие-то действия

ps сори за флуд...поисковики приравниваются к гостям и не могу понять почему...

Святой Исидор · 17 июля 2009, 17:19:40

Цитата: Alexthelight от 17 июля 2009, 17:15:25
поисковики приравниваются к гостям и не могу понять почему...

Админка -Поисковые системы -Настройки -Назначить группу для пауков
Позволит Вам настроить доступ для пауков.
Это у версии форума SMF 2.0 RC1.2

Alexthelight · 17 июля 2009, 18:14:38

Цитата: Святой Исидор от 17 июля 2009, 17:19:40
Админка -Поисковые системы -Настройки -Назначить группу для пауков
Позволит Вам настроить доступ для пауков.
Это у версии форума SMF 2.0 RC1.2

Я это понимаю и знаю, смотрите выше, я уже писал об этом

Цитата: Alexthelight от 17 июля 2009, 14:56:06
Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится

Дело в том, что они дальше гостей не ползают по сайту, хотя доступ у группы имеется!

Святой Исидор · 17 июля 2009, 19:25:21

у меня не гость -Обычный пользователь

kamar · 06 августа 2009, 21:52:20

Нашел в инете список ботов, адаптировал для sql запроса типа

Код Выделить

INSERT INTO `smf_spiders` (`id_spider`, `spider_name`, `user_agent`, `ip_info`) VALUES (22, 'Crawler.de', 'AbachoBOT (Mozilla compatible)', '');

весь список в аттаче, больше 700 пауков.
p.s. рассчитан для запроса на форумах со стандартным не измененным списком пауков.

FladeX · 05 сентября 2009, 18:17:56

Название бота - ForumMap [Crawler]
Соответствие агенту - ForumMap Crawler
Подробнее о боте на этом форуме или на сайте.

alado · 19 октября 2009, 21:55:11

А для версии 1.1.10 нету случаем такой вещи?

valday666 · 18 ноября 2009, 11:20:30

Есть пару глупых вопросов, с SEO только начинаю разбираться.
а месяц у меня 60 гигов исходящего траффика ушло, яндекс и гугл с форума не уходят. Это нормально?
Прогнал свой сайт тестом, тот что выше _____http://__host-tracker.com выдал такую ошибку:
Kiev Failure("Domain lookup failure:www.serpentes.ru Exception:Not_found") UnixHost.com.ua

Как решить эту проблему? Первичные DNS у меня расположены на моем сервере, вторичные на nic.ru и пришлось отключить домены третьего уровня, т.к. со многих хостов не попасть на них.

valday666 · 18 ноября 2009, 12:16:19

Цитата: Святой Исидор от 27 апреля 2008, 13:44:20
регся и у тебя каждый час будет 45 пауков здесь

Почему то появляются не пауки, а просто гости, которые даже не влияют на посещаемость сайта (рейтинг майл.ру, спайлог и т.п.) Какой смысл в том, что висит куча гостей?

Beer · 13 апреля 2010, 22:22:07

Вот этот гад сегодня 2 раза перегрел сервак:

Код Выделить

65.55.3.173 - - [13/Apr/2010:22:03:05 +0400] "GET /forum/index.php?board=2.0 HTTP/1.0" 200 61945 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:08 +0400] "GET /forum/index.php?board=1.0 HTTP/1.0" 200 61311 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:11 +0400] "GET /forum/index.php?board=9.0 HTTP/1.0" 200 61998 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:13 +0400] "GET /forum/index.php?board=8.0 HTTP/1.0" 200 59593 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"

User-agent: msnbot/2.0b
Crawl-delay: 10

НЕПОНИМАЕТ или я неправильно прописал, т.к. на сайте его инструукций найти не смог.

Yworld_garry · 14 апреля 2010, 10:19:02

Так правильно
User-agent: msnbot
Crawl-delay: 120

Либо так с запретом не нужного
User-agent: msnbot
Crawl-delay: 120
Disallow: /заперт/

Не помогло, пишем в тех по http://g.live.com/0HE_TRACKSTAR_RURU9/91006

Beer · 14 апреля 2010, 15:11:54

Было прописано так:

User-agent: MSNbot
Crawl-delay: 10

Он не понимал это.

Beer · 14 апреля 2010, 17:17:38

Прописал ему:

User-agent: msnbot
Crawl-delay: 10

Пофик - опять получил от хостера письмо счастья.

Mavn · 14 апреля 2010, 17:35:30

так вы значение посмотрите что вы пишите и что вам предлагают!!!!
и правила форума соблюдай а то у меня кнопка большая есть зеленым ходить будешь

Beer · 14 апреля 2010, 17:42:51

Так он ежесекундно по запросу бомбит, а нормальные боты - как им предписано в Crawl-delay. 120 это равносильно запрету, хотя если ему 10 не указ, то хоть 240 поставь...
гугль Crawl-delay тоже не воспринимает (для справки).

Зеленую кнобку прибереги для спамеров.

Mavn · 14 апреля 2010, 17:45:41

120 это оптимальное значение(сами тестировали на этом форуме) для сильно шустрых ботов на крайняк вообще запрети его и мозг не парь.

Beer · 10 июня 2010, 20:36:05

Вот такой сегодня нагрел сервак:

195.42.102.21 - - [10/Jun/2010:12:42:04 +0400] "GET /forum/index.php?PHPSESSID=1lmju1hnsj53m9m2jqc7pjdka7&topic=946.msg26576 HTTP/1.0" 200 55328 "-" "Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/)"

Причем на сайте у него вообще про бота я чота не увидел ни слова - как с ним общаться.

karavan · 10 июня 2010, 23:54:57

Ко мне оно тоже приходило, но хостер у меня блокирует IP которые берут больше 3% загрузки процессора.

Beer · 10 июня 2010, 23:58:22

Вот это правильное решение, а мой - отрубает аккаунты

karavan · 11 июня 2010, 00:56:19

Цитата: Beer от 10 июня 2010, 23:58:22
Вот это правильное решение, а мой - отрубает аккаунты

У меня есть в меню хостера настройки этого всего. Что хочу, то ставлю, из опыта. Минусы - дорогой тарифный план. Но качеством доволен.

sb · 11 ноября 2010, 18:58:05

Цитата: kamar от 06 августа 2009, 21:52:20
Нашел в инете список ботов, адаптировал для sql запроса типа
Код Выделить Развернуть
INSERT INTO `smf_spiders` (`id_spider`, `spider_name`, `user_agent`, `ip_info`) VALUES (22, 'Crawler.de', 'AbachoBOT (Mozilla compatible)', ''); весь список в аттаче, больше 700 пауков.
p.s. рассчитан для запроса на форумах со стандартным не измененным списком пауков.

Спасибо, дружище, выручил! Теперь паучков отлично видно.

Причем накатывал на измененную базу с двумя вручную добавленными пауками - но все прошло гладко, после только убрал дубликаты.

Serifa · 15 ноября 2010, 23:27:27

Тоже нужны адреса пауков. Где живут и как зовут. А то приходится вычислять таким извращенным способом: у меня на форуме есть странная тема, называется "Люк Скайуокер собирает...", в ней пытаются отвечать только пауки. Как они ее находят - непонятно, но если кто-то отправляет ответ или пишет его - почти наверняка паук. Просто смотришь, кто там онлайн: а там опять два-три "явно-не-человека" пишут ответ в эту тему.

Bugo · 16 ноября 2010, 01:51:58

Прописаны они в разных странах, живут где придется. Зовут всех по-разному (но есть приметы). С большинством из них можно никогда в жизни не столкнуться, с другими — типа Гоши и Яши — почти каждый день встречи. Регистрируются пауки по адресу: Админка » Пользователи » Поисковые системы...

Serifa · 16 ноября 2010, 16:24:24

Ты, конечно, умница, Буго, но мне их туда вручную забивать надо, да? Тридцать восемь страниц - нехило)) У меня скромно три странички. Значит, есть к чему стремиться?))

digger® · 16 ноября 2010, 17:13:25

Цитата: Serifa от 16 ноября 2010, 16:24:24
Ты, конечно, умница, Буго, но мне их туда вручную забивать надо, да? Тридцать восемь страниц - нехило))

C третьей страницы этой темы взять готовый дамп таблицы с пауками и загрузить в базу, не?

Avalon · 31 мая 2011, 11:42:32

Есть у кого свежий дамп поисковиков? Если что пришлите на мыло, Avalon@avalonium.ru? Буду очень благодарен!!!

karavan · 23 октября 2011, 14:12:53

Для Украинских пользователей, Название паука - Meta (bot), User Agent - MetaSpider, регистрация в системе Мета Паспорт тут: https://passport.meta.ua/

Bugo · 23 октября 2011, 14:48:58

Добавить его в общий список ботов?

karavan · 23 октября 2011, 14:54:51

Bugo если Вам не трудно, то идея хорошая добавить

Правда после регистрации прошло окого месяца, пока пришел бот, но вот он у меня как раз сидит:

Bugo · 23 октября 2011, 14:57:36

А можно скрин без цензуры? Для коллекции

Вернее, хотелось бы увидеть на скрине побольше пауков (10+), одновременно.

Ip адреса User Agent поисковых систем

KapaBG

KapaBG

alado