Спасение перегруженного сервера (updated)

На днях удалось справиться с зависанием одного из серверов, который по непонятной причине периодически просто переставал откликаться на запросы. В логах – пусто, никаких действий вроде как не происходило, а помогал только reset.
Проблема возникла после перехода со старой версии сервера на новый Zend core+новый apache, ну и железо сервера обновили заодно.
Долго не могли понять причину, потому что зависание возникало нерегулярно и отследить его было слишком сложно.
Помогла возможность удаленного доступа к HP серверам (iLO). Запустили top, увидели причину. Оказывается, когда-то давно в целях эксперимента в настройках apache было выставлено слишком большое количество допустимых процессов. В результате зацикливания, видимо, количество этих процессов превысило норму и у сервера заканчивалась виртуальная память :(

Итог: если по непонятной причине у вас зависает – возможно, это нехватка памяти

Собственно скриншот.
HP iLo рулит. Без него бы причину не нашли.
9 гб памяти off

Автор поста: Петров Роман

Метки записи:

Связанные записи:

3 Comments »

  1. Комментирует Eugene

    November 2, 2009 at 8:10 am

    Load average 40! Это из-за перегрузки сервера? Какое у него железо?

  2. Комментирует Петров Роман

    November 2, 2009 at 7:21 pm

    Это из-за перегруженного apache. Железо нормальное – 2xXeon

  3. Комментирует Mixasik

    November 30, 2009 at 6:51 pm

    40 это ещё мало, у нас на одном сервере иногда до 200-300, а то и до всех 400 подымается ;)

Оставить комментарий

Также Вы можете войти используя: Yandex Google Facebook Вконтакте Twitter Mail.ru OpenID