Опттимизация SMF, чтобы не грузил сервер

muzabbar · 28 марта 2009, 18:42:40

Столкнулся с проблемой. Посещаемость сайта увелиилась до 500 уников в сутки, конкретно форума - до 300 уников в сутки.

Хостер отрубил форум, сказав что он грузит сервер, прописал ЧМОД на index.php

и прислали письмо:

bla-bla domen.com 6.40 1.98 0.4
Top Process %CPU 35.0 /usr/local/php5/bin/php-cgi /home/bla-bla/public_html/forum/index.php
Top Process %CPU 30.0 /usr/local/php5/bin/php-cgi /home/bla-bla/public_html/forum/index.php
Top Process %CPU 28.0 /usr/local/php5/bin/php-cgi /home/bla-bla/public_html/forum/index.php

Please note that we do not allow excessive resource utilization of an account on the shared environment as it will effect the other users on the server . So in shared servers you will have to be in the acceptable limit by which you will be able to share the resources on the server with other users on it.
In shared servers the acceptable usage range for shared plans is 1.0% average %CPU or less, 1.0% average %Memory or less 0.2% average %Mysql and Top Processes below 20%.

В связи с этим подскажите, как можно оптимизировать SMF, чтобы тот жрал меньше ресурсов? Никакие моды на форуме не стоят, голый SMF.

netoya · 29 марта 2009, 23:57:22

Также волнует этот вопрос, неужто движок SMF так сильно создает нагрузку на сервер?
Только перешел на 1gb.ru, все быстро, но пугает то какую нагрузку создает форум на их процессор:

2009-03-29 21:00 - 2009-03-29 22:00    15.96 %    ****************
2009-03-29 20:00 - 2009-03-29 21:00    12.01 %    *************
2009-03-29 19:00 - 2009-03-29 20:00    9.35 %    **********
2009-03-29 18:00 - 2009-03-29 19:00    9.63 %    **********
2009-03-29 17:00 - 2009-03-29 18:00    12.61 %    *************
2009-03-29 16:00 - 2009-03-29 17:00    14.94 %    ***************
2009-03-29 15:00 - 2009-03-29 16:00    10.42 %    ***********
2009-03-29 14:00 - 2009-03-29 15:00    9.8 %    **********
2009-03-29 13:00 - 2009-03-29 14:00    9.65 %    **********
2009-03-29 12:00 - 2009-03-29 13:00    7.34 %    ********
2009-03-29 11:00 - 2009-03-29 12:00    6.37 %    *******

при этом моя квота по тарифу всего 3,5%.
Не уж-то 1000 уникальных посетителей в сутки создают такую нагрузку, что ни не могут справиться, на новый хост перешел по причине жалоб о жутких тормозах прошлого со стороны пользователей, но у старого не было ни слова о нагрузке создаваемой форумом. Сейчас же все летает, но вопрос, к чему это приведет?

Yworld_garry · 30 марта 2009, 00:07:46

Оптимизировать можно думаю, но немного и сильно оно вам не поможет.
Готовьтесь к переезду на более мощные варианты. Такова расплата за популярность. Постарайтесь пока обдумать вопрос рекламы и монетизации в целом. Дабы не сильно ударило по карману.

Mavn · 30 марта 2009, 06:59:44

Сижу на впс и единственное к чему я все больше склоняюсь так это к тому что хостеры сами создают искуственно нагрузку дабы вы перешли на более дорогие тарифы. Почему я так говорю? да есть причины за все время эксплуатации впс апач у меня почти всегда ест не более 1-3 % проца, в то время как когда я был на ВИП хостинге (разрешалось потре[censored] 15%) по логам потребление проца привышало порой 2000% судя по их статистике только вот незадача максимальное число в данной ситуации могло бы быть 600% с копейками потому как иначе получалось бы так что мой проект с 500 униками на тот момент создает нагрузку больше чем может предоставить сервер вообще что просто бред.
Относительно оптимизации если вы не программер то оптимизировать стандартными средствами ничего не сможете. Так же чем меньше установленно модов тем меньше будет нагрузка

netoya · 30 марта 2009, 08:43:12

Значит все мы в заложниках у хостера.
А без модов никуда.

RedFire2017 · 30 марта 2009, 17:00:55

netoya, у 1ГБ.ру на вирутальном хостинге можно держать разве что полностью статический сайт. Был у меня опыт размещения на 1гб.ру SMF 1.1.6 с жалкой сотней посетителей в сутки, но они вечно отключали его за перегрузку - пришлось форум перенести. Сейчас стоит на VDS и не у них.

netoya · 30 марта 2009, 18:00:47

ТТТ пока отключений не было, они также обещали сначала прислать три письма, и если не будет ответа им то вырубают сайт.
А перешел к ним по причине что прямо в поддержку написал, смогут ли они выстоять 1000 в сутки и 100 одновременно на сайте в среднем. Ответ был положительный, в то время как другие сразу говорили о большой нагрузке.
Но предварительный анализ показал, что очень здоровую нагрузку создает бот Яндекса, ограничил пока посковики в их активности.

RedFire2017 · 30 марта 2009, 18:10:09

Это ненормально, когда приходится ограничивать доступ поисковиков, тем более Яндекса с которого идёт максимум поситетелей. Лучше сразу мигрировать.

bingo_m · 08 апреля 2009, 23:36:15

Хе. Аналогично получил второе предупреждение. Виртуальный хостинг - это кот в мешке. Заказал VDS.
за неделю на 100 каких-то попугаев превысил. с недели на неделю все больше и больше. сижу на SMF2.0 почти девственном.
вся нагрузка от поисковиков. а они прописались уже и уходить не собираются.

bbbbbb · 12 апреля 2009, 06:23:17

я тоже заметил что пхп жрет память...

смф жрет мало, по сравнению с другими...

легче всего взять выделенный сервер

и еще лучше использовать mod_perl, но только движок надо будет другой поставить ikonboard или YaBB, первый более всего, но это оффтопик

кстате, может провести тестирвоание по скорости с perl?
(приемущества perl: пул соединиений, уничтожитель объекта (очистка памяти), квантовые вычисления и .т.д.

PS хостинг фиговый вообще-то, используется чистый CGI или FastCGI, ддолжна быть акселерация, но все равно не факт...

dmmb · 14 апреля 2009, 21:31:16

не забывайте что vps собранный для вас хостером имеет почти весь софт из коробки, тоесть поставлен с дефолтными настройками.

сейчас тестю один впс - так его хостер собрал так что из 250 метров памяти на чистом без сайтов впс свободно 10 мегабайт. путем легкого шаманства сократил жор памяти до 70 метров(180 свободно).. это уже примелимо. так что когда берете впс -либо сами настраивайте сразу, либо наймите грамотного админа со стороны и сразу объясните подочто настраиваете.

bbbbbb · 15 апреля 2009, 06:45:14

ну показывайте конфиги что вы там настроили и оптимизировали

настройка это хорошо, похвально, но прирост очень большой она не даст, если грубых ошибок в конфигах нету, конечно... (если по-умолчанию, то нужно подправить - да)

ну там прикол в том что боты прийдут и начнут грузить и особенно когда они одновеременно все к старницам подключаються, бывает от 9 вечера до 6 утра 5 000 - 10 000 соединений делают в общем количестве

вообще-то я заметил что большие программы написаные на пхп как правильло прилично жрут память gallery 2, type3, ipb, phpnuke, joomla и т.д. скорее всего это говорит о недостатках языка... (точнее язык с малыми возможностями)

ЗЫ: не в обиду пхп любителям, в для обсуждения, так как проблема нагрузки это проблема хостера если ему заплатить за хостинг

dm_mb · 15 апреля 2009, 10:01:25

чужой конфиг ничего не даст. так что смысла показывать нет.

php это программа, которая компилируется в протцесе выполнения. её можно и нужно закешировать.

самое нагужаемое место - это база данных. и её надо оптимизировать. убирать тяжелые запросы, оптимизировать их. кешировать.

bbbbbb · 15 апреля 2009, 23:26:21

смотря какая база, если будет 100Гб, и если всегда выносить и заносить информацию, то будет грузиться

у меня никогда база не грузиться, при самом минимальном конфиге
1149 mysql 21 96 0 331M 20980K ucond 0:00 0.83% mysqld
жрет 20-40 метров, чувсвуется нагрузка на процессор и память, тоже, но php грузит в 10 раз больше, сервер с 512, работает в упор, даже более того (в часпик, вечером)

Mavn · 16 апреля 2009, 08:25:03

Цитата: bbbbbb от 15 апреля 2009, 23:26:21
смотря какая база, если будет 100Гб,

Хехе если что вдруг кто не в курсе бд при 2кк+ сообщений будет весить от 5 до 10Гигов в зависимости от поисковых индексов. И уж тем более такую бд на большом проекте будут обслуживать как минимум 2 сервака.

bbbbbb · 19 апреля 2009, 10:50:42

в perl есть pool connect, для высоконагруженной рабоыт с базой

я не использовал... говорят что мао где помогает

несколько соединений делаються в одно:
http://search.cpan.org/~mws/ResourcePool-1.0104/lib/ResourcePool.pod
http://search.cpan.org/~pgollucci/Apache-DBI-1.06/lib/Apache/DBI.pm

и что-то вроде бы многопоточности для работы с базой:
http://search.cpan.org/~darnold/DBIx-Threaded-0.10/lib/DBIx/Threaded.pm

RedFire2017 · 21 апреля 2009, 09:45:53

Цитата: MavnХехе если что вдруг кто не в курсе бд при 2кк+ сообщений будет весить от 5 до 10Гигов в зависимости от поисковых индексов. И уж тем более такую бд на большом проекте будут обслуживать как минимум 2 сервака.

Из таких больших форумов в Рунете на SMF разве что только курайник.

bbbbbb · 23 апреля 2009, 14:04:11

ну база данных можетбыть большая, мне рассказывали что есть и до 10Тб

вот такими серверами обсуживается

bbbbbb · 08 мая 2009, 03:25:46

http://www.vitalik.com.ua/node/5
http://xodian.net/serendipity/index.php?/archives/27-Benchmark-PHP-vs.-Python-vs.-Perl-vs.-Ruby.html

(хотя это не показатель, но тем не менее ...)