Лимитирования нагрузки

[pusik]

Здравствуйте
Возникла проблема с хостингом

Нарушение сайтом **** условий говора-оферты, решение - оптимизация медленного кода. Ранее, на обработку сайта могло тратится меньше процессорных ресурсов, теперь больше, это зависит как и от общей наполненности форума, так и от количества обращений к нему. И естественно главным фактором является оптимизация кода.

.
Форум выдает сообщение:

The server is temporarily unable to service your request due to
maintenance downtime or capacity problems. Please try again later.

Хостер заявляет:

По договору оферте нагрузка создаваемая скриптами вашего домена не должна превышать 2.5% от мощности сервера что примерно составляет sys+user=0.1 сек в вашем случае некоторые запросы потребляют в десятки раз больше:

Код Выделить Развернуть

sys+user  sys    user  тип  текст запроса

4.6284  0.0477  4.5807  G  /index.php/topic,1531.msg48350/topicseen.html
4.6536  0.0571  4.5966  G  /index.php?topic=529.0
4.7098  0.0123  4.6975  G  /index.php/topic,1497.25.html
4.7508  0.0221  4.7286  G  /index.php/topic,1280.50.html
4.8192  0.0390  4.7802  G  /index.php/topic,531.250.html
4.8517  0.0250  4.8266  G  /index.php?topic=137.0
4.9654  0.0197  4.9457  G  /index.php/topic,1280.msg48341/topicseen.html
4.9918  0.0100  4.9818  G  /index.php?topic=137.0
5.0204  0.0000  5.0204  G  /index.php/topic,1280.msg48306.html#msg48306
5.0312  0.0169  5.0144  G  /index.php/topic,192.0.html
5.0961  0.0234  5.0726  G  /index.php/topic,1280.msg48306.html
5.1339  0.0312  5.1028  G  /index.php/topic,1280.50.html
5.3521  0.0383  5.3139  G  /index.php/topic,531.25.html
5.3938  0.0031  5.3907  G  /index.php/topic,1280.50.html
5.4554  0.0426  5.4129  G  /index.php/topic,1280.50.html
5.5782  0.0446  5.5335  G  /index.php/topic,1280.50.html
5.6306  0.0403  5.5903  G  /index.php/topic,1375.0.html
5.6330  0.0542  5.5789  P  /index.php?action=search2
5.8980  0.0525  5.8455  G  /index.php?topic=192.0
6.2059  0.0329  6.1730  G  /index.php/topic,798.325.html
                Типы: G - GET  P - POST


Мои действия:
1. Включил кэширование 1 уровня + eAccelerator (на сервере стоит).
2. Оптимизировал все таблицы.
3. поставил галки на:
Использовать сжатие трафика
Отключить проверку шаблонов темы оформления
Не отображать названия хостов пользователей.

Что еще делать не знаю Хостер мастерхост, версия PHP 5.
Форум 2,0 R3 Тема стандартная.
Моды:

Aeva Media   1.4a     
2.   Hide SMF Version   1.0.6     
3.   Aeva Media RUS   1.3.2 beta     
4.   Vkontakte Save mod   1.0.0     
5.   Anti-Bot Registration Puzzles   1.2.0.1 
6.   Simple Award System   2.1     
7.   Simple Awards System RUS   0.4.1     
8.   Tagging System   2.4.2     
9.   Tagging System RUS   0.6 beta     
10.   Thank-O-Matic-RUS   0.3     
11.   Thank-O-Matic   2.0 RC2     
12.   Watermark.light

Подскажите что еще делать?

[Serifa]

А можно на форум взглянуть? Сколько там посетителей за день онлайн? Любопытно.
_{Все-таки повезло мне с хостером, тьфу-тьфу.}

[pusik]

Переписка:

. Если сравнивать текущие показатели нагрузки с вырезками из журналов, сохраненными в рамках данной переписки, то нагрузка не снижалась и продолжает быть чрезмерно высокой.

Иллюстрация 30 самых тяжелых запросов к сайту на данный момент (за период с 0:00 до 12:40) - во вложении к письму. Самый тяжелый запрос потребовал почти 6 секунд процессорного времени - такое потребление ресурсов для виртуального хостинга является крайне высоким.

Домен: ****  отражены 30 самых тяжелых запросов за весь журнал:
Время    System  User    Sys+User  Real    Запрос
05:58:30 s:0,037 u:5,869 s+u:5,906 r:6,021 /index.php?topic=137.0
03:12:58 s:0,113 u:5,702 s+u:5,815 r:7,073 /index.php/topic,1280.msg48310.html
03:18:29 s:0,055 u:5,399 s+u:5,454 r:5,813 /index.php?topic=64.50
12:14:39 s:0,019 u:5,386 s+u:5,405 r:6,020 /index.php/topic,798.325.html
03:48:32 s:0,028 u:5,257 s+u:5,285 r:5,379 /index.php?topic=6.msg5546
03:15:09 s:0,025 u:5,137 s+u:5,162 r:5,440 /index.php?topic=14.75
03:23:31 s:0,000 u:5,113 s+u:5,113 r:5,133 /index.php?topic=273.0
02:32:06 s:0,034 u:5,078 s+u:5,112 r:5,195 /index.php?topic=6.30
02:40:59 s:0,002 u:5,015 s+u:5,017 r:5,055 /index.php?topic=6.75
05:17:43 s:0,033 u:4,983 s+u:5,016 r:5,203 /index.php?topic=237.msg9441
03:53:35 s:0,038 u:4,963 s+u:5,001 r:5,422 /index.php?topic=54.msg229
00:45:03 s:0,059 u:4,900 s+u:4,959 r:5,094 /index.php?topic=137.0
10:55:42 s:0,016 u:4,936 s+u:4,952 r:5,440 /index.php/topic,1280.new.html
11:28:30 s:0,007 u:4,928 s+u:4,935 r:5,059 /index.php?topic=387.msg48267;boardseen
04:01:44 s:0,018 u:4,873 s+u:4,891 r:5,097 /index.php?topic=36.msg1106
10:29:31 s:0,003 u:4,883 s+u:4,886 r:5,079 /index.php/topic,1280.msg48382/topicseen.html
03:19:40 s:0,059 u:4,825 s+u:4,884 r:5,540 /index.php?topic=437.0
06:05:37 s:0,021 u:4,859 s+u:4,880 r:5,013 /index.php?topic=225.msg6157
03:48:27 s:0,033 u:4,824 s+u:4,857 r:4,877 /index.php?topic=6.msg5566
06:05:32 s:0,012 u:4,810 s+u:4,822 r:4,847 /index.php?topic=225.msg6154
03:21:30 s:0,039 u:4,768 s+u:4,807 r:29,72 /index.php?topic=384.0
03:16:45 s:0,021 u:4,759 s+u:4,780 r:4,911 /index.php?topic=14.25
03:20:25 s:0,020 u:4,707 s+u:4,727 r:4,891 /index.php?topic=454.0
06:05:42 s:0,046 u:4,675 s+u:4,721 r:4,751 /index.php?topic=225.msg6150
05:17:28 s:0,042 u:4,659 s+u:4,701 r:4,952 /index.php?topic=237.msg9536
05:20:39 s:0,037 u:4,613 s+u:4,650 r:4,694 /index.php?topic=237.msg9385
02:40:03 s:0,000 u:4,629 s+u:4,629 r:4,648 /index.php?topic=72.0
03:01:01 s:0,016 u:4,601 s+u:4,617 r:4,764 /index.php?topic=412.0
06:02:41 s:0,028 u:4,584 s+u:4,612 r:4,711 /index.php?topic=225.msg6169
05:17:38 s:0,002 u:4,602 s+u:4,604 r:4,825 /index.php?topic=237.msg9465

Что делать не знаю Помогите пожалуйста  решить проблему.

[Serifa]

Хороший хостер - "мертвый" хостер.
В смысле, он молчит и никаких писем не пишет. И вообще вспоминаешь о нем только раз в год, когда надо хостинг продлевать.

[Bugo]

1) Поменять пакет услуг, перейти на более «продвинутый».
2) Поменять хостинг.
3) Другие варианты (к примеру: «откатиться» к тому моменту, когда всё работало нормально и не было никаких писем от хостера).

[karavan]

По договору оферте нагрузка создаваемая скриптами вашего домена не должна превышать 2.5% от мощности сервера

Ну мне кажется что это очень мало, 2,5%... Вот мои логи за пару дней:

2010-10-27 19:00 - 2010-10-27 20:00    2.45 %    *** 
2010-10-27 18:00 - 2010-10-27 19:00    2.28 %    *** 
2010-10-27 17:00 - 2010-10-27 18:00    3.53 %    **** 
2010-10-27 16:00 - 2010-10-27 17:00    4.29 %    ***** 
2010-10-27 15:00 - 2010-10-27 16:00    3.55 %    **** 
2010-10-27 14:00 - 2010-10-27 15:00    2.2 %    *** 
2010-10-27 13:00 - 2010-10-27 14:00    2.13 %    *** 
2010-10-27 12:00 - 2010-10-27 13:00    0.99 %    * 
2010-10-27 11:00 - 2010-10-27 12:00    1.94 %    ** 
2010-10-27 10:00 - 2010-10-27 11:00    1.95 %    ** 
2010-10-27 09:00 - 2010-10-27 10:00    0.94 %    * 
2010-10-27 08:00 - 2010-10-27 09:00    1.24 %    ** 
2010-10-27 07:00 - 2010-10-27 08:00    0.48 %    * 
2010-10-27 06:00 - 2010-10-27 07:00    0.22 %    * 
2010-10-27 05:00 - 2010-10-27 06:00    0.13 %    * 
2010-10-27 04:00 - 2010-10-27 05:00    0.1 %    * 
2010-10-27 03:00 - 2010-10-27 04:00    0.1 %    * 
2010-10-27 02:00 - 2010-10-27 03:00    0.23 %    * 
2010-10-27 01:00 - 2010-10-27 02:00    0.29 %    * 
2010-10-27 00:00 - 2010-10-27 01:00    0.59 %    * 
2010-10-26 23:00 - 2010-10-27 00:00    1.62 %    ** 
2010-10-26 22:00 - 2010-10-26 23:00    2.53 %    *** 
2010-10-26 21:00 - 2010-10-26 22:00    1.89 %    ** 
2010-10-26 20:00 - 2010-10-26 21:00    2.35 %    *** 
2010-10-26 19:00 - 2010-10-26 20:00    1.23 %    ** 
2010-10-26 18:00 - 2010-10-26 19:00    1.33 %    ** 
2010-10-26 17:00 - 2010-10-26 18:00    1.56 %    ** 
2010-10-26 16:00 - 2010-10-26 17:00    2.7 %    *** 
2010-10-26 15:00 - 2010-10-26 16:00    2.6 %    *** 
2010-10-26 14:00 - 2010-10-26 15:00    3.02 %    **** 
2010-10-26 13:00 - 2010-10-26 14:00    2.4 %    *** 
2010-10-26 12:00 - 2010-10-26 13:00    1.93 %    ** 
2010-10-26 11:00 - 2010-10-26 12:00    2.18 %    *** 
2010-10-26 10:00 - 2010-10-26 11:00    2.65 %    *** 
2010-10-26 09:00 - 2010-10-26 10:00    2.4 %    *** 
2010-10-26 08:00 - 2010-10-26 09:00    2.63 %    *** 
2010-10-26 07:00 - 2010-10-26 08:00    1.41 %    ** 
2010-10-26 06:00 - 2010-10-26 07:00    1.03 %    ** 
2010-10-26 05:00 - 2010-10-26 06:00    0.75 %    * 
2010-10-26 04:00 - 2010-10-26 05:00    0.53 %    * 
2010-10-26 03:00 - 2010-10-26 04:00    0.08 %    * 
2010-10-26 02:00 - 2010-10-26 03:00    0.16 %    * 
2010-10-26 01:00 - 2010-10-26 02:00    0.36 %    * 
2010-10-26 00:00 - 2010-10-26 01:00    0.82 %    * 
2010-10-25 23:00 - 2010-10-26 00:00    2.21 %    *** 
2010-10-25 22:00 - 2010-10-25 23:00    3.35 %    **** 
2010-10-25 21:00 - 2010-10-25 22:00    3.67 %    **** 
2010-10-25 20:00 - 2010-10-25 21:00    3.97 %    **** 
2010-10-25 19:00 - 2010-10-25 20:00    1.93 %    ** 
2010-10-25 18:00 - 2010-10-25 19:00    2.44 %    *** 
2010-10-25 17:00 - 2010-10-25 18:00    2.76 %    *** 
2010-10-25 16:00 - 2010-10-25 17:00    4.02 %    ***** 
2010-10-25 15:00 - 2010-10-25 16:00    3.08 %    **** 
2010-10-25 14:00 - 2010-10-25 15:00    3.55 %    **** 
2010-10-25 13:00 - 2010-10-25 14:00    3.05 %    **** 
2010-10-25 12:00 - 2010-10-25 13:00    4.68 %    ***** 
2010-10-25 11:00 - 2010-10-25 12:00    2.6 %    *** 
2010-10-25 10:00 - 2010-10-25 11:00    2.34 %    *** 
2010-10-25 09:00 - 2010-10-25 10:00    2.42 %    *** 
2010-10-25 08:00 - 2010-10-25 09:00    2.1 %    *** 
2010-10-25 07:00 - 2010-10-25 08:00    1.15 %    ** 

Гранично у меня 7,5%, но такое было 2 раза за год.

[pusik]

1) Поменять пакет услуг, перейти на более «продвинутый».
2) Поменять хостинг.
3) Другие варианты (к примеру: «откатиться» к тому моменту, когда всё работало нормально и не было никаких писем от хостера).

1. сейчас тариф "Оптимальный" http://masterhost.ru/service/hosting/virtual/archive/optim/ И так нормально.
2. Нравится мне у них кофе в офисе .
3. Проблема возникла после обновления форума с 1.0.9 до 2.0.3. Мод галереи не хотел загружать больше 10Кб картинки. Обратился к хостеру он сменил на площадке php 4 на php 5. Картинки стали нормально загружать и все работает, но возникает нагрузка, и форум отключают . И привык я уже к 2,0,3 версии .
Скажите, сколько форум должен примерно жрать ресурсов, и что можно отключить или включить для снижения нагрузки?
Если не сложно киньте свои логи.

[digger®]

что можно отключить или включить для снижения нагрузки?

Удалить установленные моды.

[pusik]

Скажите, технические требования для smf 2,0,3. Хостер просит.

[Bugo]

В корне форума лежит файл readme. Неужели трудно почитать...

[GeorG]

Хостер наехал...

Вот чем трясёт:

Top Process %CPU 98.0 /usr/bin/php /home/-#-#-/public_html/index.php
Top Process %CPU 72.2 /usr/bin/php /home/-#-#-/public_html/index.php
Top Process %CPU 82.5 /usr/bin/php /home/-#-#-/public_html/index.php

На друго тарифный план гонит (будь он не ладен)

Вообще, реально создавать такую нагрузку, с 70 юзерами на борту (ну там ещё 3-5 поисковиков, не слазиют с форума)?

(70 это в смысле постоянно не слазят с форума... Если брать статистику, то примерно 2500 хостов и 9500 обновлений в день)

Список модов:

WYSIWYG Quick Reply Update
Sitemap
Auto Merge Double Post
[HTML] Permission Mod
Font Size
View Signatures Permission
WYSIWYG Quick Reply
Highslide Image Viewer
New In Topic View
SimplePortalUpdate
AjaxChat Integration Rus
PMXBlog
First Post on every Page
RedirectPage
Reputation My Full
Member Color Link/Group
SitemapRUS
SMF Media Gallery Upgrade
Thank-O-Matic   2.0 RC4
My modification (Fancy)
AjaxChat Integration
dQuoteSelection
Simple Award System
[BB] code full rc3
Member Color Link
Post History
SMF Media Gallery
RedirectPage
SimplePortal

Со страницы с постами:
Страница сгенерирована за 0.232 секунд. Запросов: 44

Или он меня просто выживает на тариф повыше?

Тарифный план и хостер:
http__://binargi.biz/tarif.php?tarif=MIDDLE

[Макар]

Че то запросов многовато это данные для админа или как гость смотрел ?

[GeorG]

Ой, да... Что-то сглупил малость, там из под админа, из под гостя естественно меньше:
Страница сгенерирована за 0.235 секунд. Запросов: 35.

[Макар]

Не фонтан , но многовато
попробуй отключить часть модов , чат , моды связанные с разграничением прав . Вообще пересмотреть список , бывает что часть "нужных" оказывается и не нужна .   Посмотри лог апача , у меня в теме оформления картинки были потеряны , так нагрузку лишнюю создавали , только через него и вычислил проблему . Посмотри что у тебя . Пагинация тем большая ? Уменьшить до 10-15 сообщений на страницу . Вынести аватары в отдельную папку и изменить способ их вызова .

[GeorG]

Уже собственно этим и занят, спасибо...

[Макар]

Ок.

[GeorG]

Уф... Снизил нагрузку, более чем в половину (совет Макара, плюс почитал тут некоторые темы)

Удалил из модов:
Снег идет (ставил под НГ)
Чат
И мод - отображение пользователей посетивших форум за день.

Вынес все аватары в отдельную папку, сократил сообщения на страницу, убрал отображения поисковых ботов для гостей... Подправил логику в Симпле портале (но это я там сам накуролесил), теперь остаюсь на прежнем тарифе

[Morose]

Дабы не плодить темы пишу сюда.


Проблема в следующем. хостер (ХЦ) уже в который раз вынуждает переходить на другой тариф, я естественно сопротивляюсь ибо он с обычного гонит на Выделенный сервер , ввиду достаточно странных обстоятельств.

А именно, вдруг вырастает нагрузка на процессор(как они говорят) и остаётся на более высоком уровне не падая.
Форум конечно растёт, но не резко а плавно(судя по статистике)

Спасает только то что у хостера есть полумера, включить некий режим, где пределы нагрузки удваиваются.
Чем спасался последние два раза.(хотя цена так-же удваивается)

Что это за показатель "загрузка процессора" я  так и не понял.
Вот скрин:


предел сейчас 1500, но он превышен - 1710.29

На вопрос, а что именно грузит то?, был следующий ответ:

"Суммарная нагрузка, создаваемая Вашим аккаунтом хостинга, превышает допустимые
лимиты. К сожалению, указать, что именно создаёт такую нагрузку, без
детального анализа скриптов Ваших сайтов невозможно.
Анализ и оптимизация скриптов находятся в компетенции разработчиков сайтов.
Настоятельно рекомендуем обратиться к ним по данному вопросу."

После этого ответа я прям и не знаю что делать, ибо уверен что они в состоянии посмотреть что грузить процессор...


Может кто нибудь подсказать что можно сделать?


Моды:
AEVA и всё

[Макар]

для генерации страницы требуется считать данные с диска обработать их, получить или записать данные в/из БД ...........
все это и представленно на скрине
так как смф по архитектуре относится к скриптам с одной точкой входа, то анализ вам всегда будет выдавать что нагрузку создает index.php

включи кеширование (а что оно еще не включенно? оОо......)
включи дебаг режим и посмотри данные по запросам, подключаемым файлам и временем обработки оных
отключать постепенно моды (если таковые имеются) и анализировать изменения
выполнить http://www.simplemachines.ru/index.php?topic=14052.msg108008#msg108008 рекомендации по ускорению и оптимизации смф ...........

[karavan]

http://www.simplemachines.ru/index.php?topic=9171.0  если не поможет, меняйте хостера, проверено, помагает.

[Morose]

включи кеширование (а что оно еще не включенно? оОо......)

Кеширование отключено, наоборот же пишется что оно процессор грузит.
И у меня пишет:
"На сервере не обнаружено поддерживаемых SMF акселераторов."

включи дебаг режим и посмотри данные по запросам, подключаемым файлам и временем обработки оных

где его включить?

[Morose]

в этой теме стоит премодерация:
http://www.simplemachines.ru/index.php?topic=9171.0

спрошу тут ибо всё к тому же, и ранее написанные мной сообщения до сих пор проходят модерацию,
а вопрос к сожалению не ждёт

2. Использование для аватаров отдельной папки

Не могу понять что не так делаю.

Создал папку на сервере, прописал путь в "Загружать аватары в:"
оба пути.

Пробую сохранить аватар, пишет "профиль изменён"  но аватар не появляется.
Меняю настрой с "другая папка" на "Папка вложений" всё работает, аватар сохраняется.

настройки папки на сервере ставил все, то есть 777.

[Xansen]

Что то не так сделал, у меня всё шикарно переместилось.
Возможно неправильно указал путь до папки. Указывать нужно физический путь до папки от корня:
"/var/data/www/адрес форума/avs" (конечно у тебя путь будет свой)

[Morose]

в том то и дело что там думать особо не надо, просто скопировать с верхних аватаров и вставить изменив последнюю папку....


я уже и  ..../forum/avs и просто ...../avs писал

Прям чудеса, не ставился аватар только у меня, и то определённая картинка, даже при смене её типа и имени.
Собственно та что на аватаре тут у меня, пришлось просто другую поставить, у всех остальных вроде как всё скопировалось и теперь в другой папке лежит.

[Serifa]

Можно еще раз для продвинутых:

1. Что там с кешированием? Ставить/ не ставить и когда
2. Что такое: "Использовать локальное хранение cookies (SSI с этой функцией работать не будет.)"
3. Что такое: Хранить сессии в Базе Данных
4. Разрешать ли: Разрешать браузерам возвращаться на кэшированную страницу

А то вдруг у меня все не так выставлено, как надо