Перегрел сервак. Направьте ход мысли по логам - тут понятно, тут - нет...

[Beer]

Код Выделить Развернуть

95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/bc_leftBG.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/logo.jpg HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/filter.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/default/xml_topic.js HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/bc_rightBG.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/spacer.gif HTTP/1.0" 200 43 "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /images/ico/small/videocam1.gif HTTP/1.0" 200 327 "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /phgallery/data/media/24/dvd-video-2009.gif HTTP/1.0" 200 19619 "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/titlebg.jpg HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:53 +0300] "GET /forum/Themes/Avef/images/topic/normal_poll.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/mirrortab_first.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/mirrortab_back.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/mirrortab_last.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
93.158.147.243 - - [04/Nov/2009:13:15:54 +0300] "GET /file/registr/phgallery/sitemap/polezn/calc/polezn/calc/images/stories/022-2007-4x4-lock/7539_.jpg HTTP/1.0" 302 295 "-" "Yandex/1.01.001 (compatible; Win16; P)"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/catbg.jpg HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/topic/normal_post.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/star12-red.gif HTTP/1.0" 200 171 "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/useroff.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/Male.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
94.100.181.243 - - [04/Nov/2009:13:15:53 +0300] "GET /phgallery/details.php?image_id=2443&sessionid=o2b6sumholqegum0lds8791ri3 HTTP/1.0" 200 43512 "-" "Mail.Ru/1.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/index.php?action=dlattach;attach=20;type=avatar HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/www_sm.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/im_off.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/post/question.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/buttons/quote.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/ip.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/star.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/email_sm.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/index.php?action=dlattach;attach=2844;type=avatar HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/post/xx.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:54 +0300] "GET /forum/Themes/Avef/images/useron.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Themes/Avef/images/im_on.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Themes/Avef/images/buttons/modify.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Themes/Avef/images/buttons/delete.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Themes/Avef/images/icons/modify_inline.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Smileys/custom/sm11.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Smileys/custom/sm22.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Themes/Avef/images/maintab_first.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"
95.52.98.176 - - [04/Nov/2009:13:15:55 +0300] "GET /forum/Themes/Avef/images/maintab_back.gif HTTP/1.0" 304 - "http://www.site.ru/forum/index.php/topic,672.new.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.195.27 Safari/532.0"


Почему так много одновременных записей у IP 95.52.98.176?

[Drakonsa]

Потому что  95.52.98.176 зашел по адресу http://www.site.ru/__forum/index.php/topic,672.new.html и начинает смотреть картинки  состовляющие тему оформления.

[Roman_Grishin]

он кажися решил всю папку с картинками от темы просмотреть... мне кажется это бот)) о да, я капитан очевидность ))

[Beer]

95.52.98.176 - ТИС Диалог провайдер, Safari - броузер. Если я правильно понимаю. У меня на форуме 1 человек юзает этот сафари. Он не бот.

[Drakonsa]

Safari - броузер.

Chrome/3.0.195.27

[Beer]

Приходит Mail.Ru/1.0 и грузит сервак:

Код Выделить Развернуть

94.100.181.243 - - [13/Jan/2010:23:10:51 +0300] "GET /phgallery/details.php?image_id=529&sessionid=vdqmd0n56to485l6m5qvvmdfi4 HTTP/1.0" 200 43306 "-" "Mail.Ru/1.0"
94.100.181.243 - - [13/Jan/2010:23:10:53 +0300] "GET /phgallery/details.php?image_id=1572&sessionid=rjob6e5p4ma90lhvntan3o95j1 HTTP/1.0" 200 42575 "-" "Mail.Ru/1.0"
94.100.181.243 - - [13/Jan/2010:23:10:55 +0300] "GET /phgallery/details.php?image_id=1567&sessionid=rjob6e5p4ma90lhvntan3o95j1 HTTP/1.0" 200 42518 "-" "Mail.Ru/1.0"

На роботс:

User-Agent: Mail.Ru/1.0
Crawl-delay: 8

User-Agent: Mail.Ru
Crawl-delay: 8

Не реагирует. Что делать, люди???

[Mavn]

а вы уверены что Crawl-delay вообще опознается mail.ru

[Beer]

 Опытным путем установлено - НЕТ. (Может быть на 50%, т.к. после того, как я поставил 8, он последний раз чуть реже запросы делал)
С другой стороны банить его тоже не есть гуд - с него траф пошел, а вот как бы упорядочить его поведение в гостях...

[Beer]

А это кто такой приперся сегодня? По IP ничего не видно ...

Код Выделить Развернуть

109.111.131.182 - - [14/Jan/2010:21:46:20 +0300] "GET /images/stories/045-photo-select/test3-iso1600.jpg HTTP/1.0" 200 39895 "index.php?option=com_content&view=article&id=43&Itemid=43" "Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 WebMoney Advisor"

[digger®]

А это кто такой приперся сегодня? По IP ничего не видно ...

Код Выделить Развернуть

109.111.131.182 - - [14/Jan/2010:21:46:20 +0300] "GET /images/stories/045-photo-select/test3-iso1600.jpg HTTP/1.0" 200 39895 "index.php?option=com_content&view=article&id=43&Itemid=43" "Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 WebMoney Advisor"

Написано же, кто такой - WebMoney Advisor

[Beer]

WebMoney Advisor - расширение для веб-браузера, разработанное для пользователей платежной системы WebMoney Transfer. WebMoney Advisor встраивается в интерфейс Вашего браузера (Internet Explorer 6.0+ или Mozilla Firefox 3.0+) в виде специальной панели инструментов.
На основе статистики сервиса WebMoney.Advisor строится рейтинг сайтов. Самый посещаемый сайт получает в рейтинге первое место. Рейтинг сайтов обновляется каждый месяц. Если какого-то сайта нет в рейтинге, это значит он имеет низкую посещаемость пользователями сервиса WebMoney.Advisor. 500 самых посещаемых пользователями сервиса WebMoney.Advisor сайтов публикуются отдельным списком.
Что-то последние пару недель всякие зомби-троли ко мне ринулись.....

[Badman]

не факт, у меня стоит к примеру вэбмани и если я зайду к вам на сайт то юзерагент будет тоже с этой надписью, т.е. не факт что это бот.

[Beer]

Опять под покровом ночи был замечен Майл.ру - все же он слушается директивы Crawl-delay: 8

Код Выделить Развернуть

94.100.181.243 - - [15/Jan/2010:05:44:51 +0300] "GET categories.php?cat_id=27&sessionid=6bv17456a6h16qt5jkgec9kbi0 HTTP/1.0" 200 45971 "-" "Mail.Ru/1.0"
94.100.181.243 - - [15/Jan/2010:05:45:00 +0300] "GET categories.php?cat_id=32&sessionid=6bv17456a6h16qt5jkgec9kbi0 HTTP/1.0" 200 54982 "-" "Mail.Ru/1.0"
94.100.181.243 - - [15/Jan/2010:05:45:08 +0300] "GET details.php?image_id=1666&sessionid=7hem8snh8t76h7lkvl2qq1uee2 HTTP/1.0" 200 43262 "-" "Mail.Ru/1.0"
94.100.181.243 - - [15/Jan/2010:05:45:16 +0300] "GET categories.php?cat_id=12&sessionid=ahcdcs6hva9vocqo67hl27ieh0 HTTP/1.0" 200 45675 "-" "Mail.Ru/1.0"

Причем я заметил, что он слушаться ее начал спустя какое-то время - наверное через сутки. Т.к. когда лежал свежий роботс, он его игнорировал, а сегодня ночью повел себя как приличный робот.
Может в темноте просто плохо видно ...

[digger®]

не факт, у меня стоит к примеру вэбмани и если я зайду к вам на сайт то юзерагент будет тоже с этой надписью, т.е. не факт что это бот.

Это не бот, а плагин для браузера.

[Badman]

именно это я и пытался сказать