производительность ejudge

[oN0]

Доброго времени суток всем.

Столкнулись с такой проблемой при организации турниров:
После начала турнира все начинает дико виснуть, причём если верить htop, munin, и т.д. серверу хорошо. В результате видим кучу 502 Gateway Error / CGI timeout.
Значение Timeout в Apache стоит 120 сек.
В процессах куча new-client. То есть, если я правильно понимаю new-client в что-то упирается, но не ясно в что.
В смысле в ресурсы мы не упираемся. Причём в последнее время для этих целей используем инстансы AWS EC2 которые легко в случае необходимости апгрейдить (что мы и делали в панике вначале).
Далее всё само собой стабилизируется.

Кто либо сталкивался с похожей ситуацией? Куда смотреть? Есть у кого-нить опыт с Nginx+ejudge?

Кроме того, интересен опыт с точки зрения количества участников и оборудования?

Прошу отписаться если есть такой опыт.

Спасибо!

[cher]

Сколько пользователей было в этот момент? На странице администратора внизу страницы выводится время генерации страницы. Какое максимальное время генерации страницы было?

[oN0]

Пользователей было около 50. На время генерации не обратил внимания.
В эту пятницу будет проходить один из этапов и я соберу эту информацию и отпишусь.

[cher]

Это не такое количество пользователей, чтобы сколь-нибудь серьезно сервер загружать. Как я понимаю, Вы используете CGI из nginx?
Какая версия ejudge?

[oN0]

Нет, ejudge используется в связке с Apache 2.2.22.
Версия ejudge 2.3.24 была. На данный момент обновил до 2.3.26.
Про Nginx уточнял, чтобы попробовать другую связку если не найду причину проблем с текущей.
Пробовал варианты с патчем ядра и без.

Я сам администрировал 4 турнира. Только в финале не было проблем т.к. пользователей было 14.
А на остальных трёх от 40 до 80 и проблемы в самом начале.

В данный момент натравил jMeter, чтобы хоть как-то сымитировать начало турнира.

Спасибо за помощь.

[cher]

На региональном этапе всероссийской олимпиады в Москве было 400 участников. Никаких проблем с производительностью не замечалось.

[vk]

В первые разы организации Регионального этапа сталкивались с нехваткой ресурсов.
При этом проблемы возникали не во время работы контеста, а именно в самом начале, когда все участники одновременно обновляли страницу участников и потом одновременно полезли смотреть задачи.
Как оказалось, в такой момент полностью высасывалась оперативная память. Ее увеличили - все ок.
Сейчас таких проблем совсем не бывает.

[cher]

Сколько тогда у вас памяти было установлено?

[vk]

Я уже и не вспомню. 2G, что-ли..
Сервер был виртуальный, в нем объем ОЗУ меняется легко.