Форум сильно грузит БД

oldcopy · 17 июня 2009, 11:10:32

Несколько дней подряд получаю от хостера сообщения:

ЦитироватьВнимание!
Ваш хостинг потребляет слишком много ресурсов! По этой причине возможна его полная блокировка без предупреждения. Текущие значения использования ресурсов и их лимиты Вы видите в панели ниже и справа.

Запросы к БД
Суммарное время выполнения длительных запросов к БД для всего хостинга за сутки, с
1231314 из 50000

Что бы это могло быть? Всплеска посещаемости нет, наоборот с наступлением лета она упала раза в полтора... Никаких модов и т.п. недавно не устанавливал. И с чего бы вдруг движок пошел генерить такую нагрузку на хост?

siv1987 · 17 июня 2009, 12:16:09

ломает тебя кто то...

BIOHAZARD · 17 июня 2009, 14:02:22

может просто поисковые боты оживились
смотри логи, кто и откуда к тебе ходить стал

oldcopy · 17 июня 2009, 16:34:50

Кстати незадолго до этого зарегистрировал RSS ленту форума по каталогам RSS (около 10 шт). Может ли RSS так грузить БД, вроде бы не должен, или я ошибаюсь?

Badman · 17 июня 2009, 16:43:40

посмотри сколько запросов идет к базе при одном обращении к ленте.

Mavn · 17 июня 2009, 16:49:04

статистику сайта посмотри сколько человек ходит и кто больше всех трафа генерит. Вполне может быть что хостер просто пытается перевести на более дорогой тариф.

oldcopy · 17 июня 2009, 16:50:29

Цитироватьпосмотри сколько запросов идет к базе при одном обращении к ленте.

Как это посмотреть? Где вообще можно посмотреть запросы к базе. Писал в техподдержку, те сказали типо мы посмотреть не можем, разбирайся сам опытным путем.

Кстати, подскажите какой нибудь анализатор логов Апача, а то тяжко в ручную логи листать.

Mavn · 17 июня 2009, 16:55:42

awstat webalizer

BIOHAZARD · 17 июня 2009, 20:10:01

Цитата: Mavn от 17 июня 2009, 16:55:42
awstat webalizer

это всё в хостинг панели обычно торчит

oldcopy · 17 июня 2009, 21:33:41

Нашел и включил у хостера awstat, теперь дождемся завтра, когда обработается статистика за текущие сутки. Всем спасибо, буду думать дальше.

Посмотрел статистику, особого криминала не нашел. Может кто подскажет куда копать, скриншоты из статистики ниже.

oldcopy · 21 июня 2009, 12:12:06

Господа, посмотрите, это нормально? Первая строка на скриншоте, этот товарищ нагенерил такой трафик за один вечер с 16 до 01. Сейчас буду смотреть по логам, что он там делал.

Логи выглядят примерно так:

Цитировать95.158.201.33 - - [19/Jun/2009:16:45:40 +0400] "GET /index.php?action=printpage;topic=2320.0 HTTP/1.0" 200 4305 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0)"
95.158.201.33 - - [19/Jun/2009:16:45:41 +0400] "GET /index.php?topic=2320.msg33765 HTTP/1.0" 200 39212 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0)"
95.158.201.33 - - [19/Jun/2009:16:45:42 +0400] "GET /index.php?topic=2320.msg33766 HTTP/1.0" 200 39156 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0)"
95.158.201.33 - - [19/Jun/2009:16:45:43 +0400] "GET /index.php?topic=2320.0;msg=33766 HTTP/1.0" 200 30201 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0)"
95.158.201.33 - - [19/Jun/2009:16:45:44 +0400] "GET /index.php?topic=2320.0;msg=33767 HTTP/1.0" 200 31590 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0)"
95.158.201.33 - - [19/Jun/2009:16:45:45 +0400] "GET /index.php?topic=2320.msg%msg_id% HTTP/1.0" 200 39182 "-" "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT 4.0)"

Что бы это могло быть?

BIOHAZARD · 21 июня 2009, 13:37:35

человеку, видимо, понравился твой сайт и он решил закачать его целиком
отправь его в баню через админку, если напрягает

MSIE 5.0 - явный признак качалки :о)

Roman_Grishin · 21 июня 2009, 14:47:51

ИМХО, MSIE 5.0 Явный признак необновленного эксплорера

Drakonsa · 21 июня 2009, 15:14:40

Робот какой-то...

BIOHAZARD · 21 июня 2009, 16:25:39

Цитата: Roman_Grishin от 21 июня 2009, 14:47:51
ИМХО, MSIE 5.0 Явный признак необновленного эксплорера

ага
и ось не обновлялась с 2000-го года :о)

oldcopy · 23 июня 2009, 18:04:25

Вроде прояснил ситуацию. Перегруз возникает когда отдельные деятели цепляются качалками. Сейчас в статистике висит Wget, зашел в админ-панель хостера увидел перегруз. Да и трафика генерят изрядно, как я понял - качалке на кэш и т.п. глубоко параллельно, она каждую страничку целиком качает. Вопрос, как можно определить, что пришел не человек, а качалка и отправить ее лесом?

Roman_Grishin · 23 июня 2009, 23:25:50

Цитата: BIOHAZARD от 21 июня 2009, 16:25:39
ага
и ось не обновлялась с 2000-го года :о)

ну подумаешь, запарил чувак обновиться... всякое бывает. зато какая радость у него будет когда он узнает что есть уже винда ХР и экспойлер 8 =)

oldcopy · 09 июля 2009, 19:02:47

Регулярно в статистике висит Wget, я правильно понимаю, это качалка?

BIOHAZARD · 09 июля 2009, 19:31:00

Цитата: oldcopy от 09 июля 2009, 19:02:47
Регулярно в статистике висит Wget, я правильно понимаю, это качалка?

да

Goldberg · 24 июля 2009, 00:11:02

такая же проблема! Форум начал грузить Хостинг!
Юзеров в день 150-200!
на форуме одновременно не более 10челов!
что делать?

BIOHAZARD · 24 июля 2009, 06:38:54

смотреть логи, выяснять кто создаёт нагрузку

Goldberg · 24 июля 2009, 07:46:43

Цитата: BIOHAZARD от 24 июля 2009, 06:38:54
смотреть логи, выяснять кто создаёт нагрузку

подскажите какие логи ?
т.к. Хостер ссылается на просмотр статистики в Webalizer и нагрузка CPU в Панели управления

oldcopy · 26 июля 2009, 21:32:43

Начните с Webalizer'а, может быть кто нибудь какой нибудь качалкой или ботом прицепился.

Goldberg · 26 июля 2009, 22:18:34

ага, пока Забанил пару "Ботов-Хамов", и пару IP с которых Хрумером ломились,
2-а дня полёт нормальный, ждём Будни...