uwsgi + nginx + 20 rps = смерть

DEBUG=True ? Мало ли.

Что с io?

DEBUG=True

не влияет

Что с io?

Включил на пару минут, вот как выглядел график до момента выключения (спад - это не момент выключения, я подозреваю, что спад это когда каждый запрос стал отваливаться).

Данные iotop после спада на графике: iotop

Может у тебя обработка реквеста падает с исключением, а uwsgi все эти портянки радостно в лог пишет?

не, дебаг отключен, в логах uwsgi только одна ошибка - broken pipe.

не, дебаг отключен,

На логирование исключений это не влияет.

processes = 4
enable-threads
threads = 4

это у тебя типа и треды и форки? а не пробовал что-то одно сделать? у меня например вот так:

processes = 1
threads = 8
master = True
enable-threads = True
disable-write-exception = True
disable-logging = True
vacuum = True

а не пробовал что-то одно сделать

пробовал разное, на ситуацию не влияло.

У тебя динамика? Какая машина и сколько запросов тянет?

Профайлером не пробовал статистику собирать?

У меня с гуникорном спокойно тысяча запросов параллельных отрабатывается (практически на всех сайтах, кроме явно тяжелых страниц), что-то тут явно не так у тебя.

динамика - в смысле? ну джанга работает, 2 небольших интернет-магазина. нагрузка далеко не 20 запросов в секунду, но меня просто смутило что и треды и форки. обычно юзается либо то либо другое. еще у uwsgi были какие-то грабли с системными семафорами, можешь в эту сторону погуглить.

У меня newrelic за профайлер, но там толком не понятно, где затык. Какой профайлер посоветуешь посмотреть?

у uwsgi были какие-то грабли с системными семафорами

даже если так, это не объясняет, почему gunicorn ведёт себя точно так же.

это конечно пальцем в небо, и скорее всего не поможет - но попробуй /tmp смонтировать в tmpfs.

не помогло

Я вот по этому рецепту профайлил - https://code.djangoproject.com/wiki/ProfilingDjango

Попробую. Сейчас пока ради эксперимента взял точно такую же машину как www0 (www2, 8 ядер), но вместо связки apache+nginx поставил опять uwsgi+nginx. Что-то новая машина подозрительно похоже подтормаживает в то время как www0 на вчетверо более высокой нагрузке работает гораздо лучше. И затыка по процессору уже нет. Можешь показать настройки гуникорна и вебсервера? Ну и sysctl -a, если не жалко. Какая машина у тебя?

По поводу профайлера. Newrelic, в общем-то, замеряет время работы отдельных функций. Для самого частого запроса оно такое:
www0 - 390ms;
www1 - 565ms;
www2 - 663ms.
Т.е. полсекунды на запрос.

Машина - Intel(R) Xeon(R) CPU E5520 @ 2.27GHz, 8 ядер, 4ГБ РАМ.

Гуникорн запускаю так:

manage.py run_gunicorn -k gevent --preload -w 4 -b 127.0.0.1:8010

(Правда 4 воркера это мало, но так как посещаемость пока низкая, то больше смысла нет ставить).

В нгинксе обычная прокси:

        location / {
		proxy_pass http://localhost:8010;
        	include proxy_params;
	}

sysctl стандартный дебиановский, вообще там ничего не менял.

В принципе, полсекунды на реквест - это не так уж много. Если посещаемость большая, то кеширующий прокси должен решить.

Кэшировать проксёй нельзя, специфика приложения.
Komintern, кажется, был прав и всё дело в тредах. Ну или я просто не умею их готовить. Рассказываю:
1. треды включены, 2 процесса по 6 тредов - тормоза: uwsgi работает полсекунды, nginx ждёт полминуты (не хватает обработчиков uwsgi, значит);
2. треды включены, 1 процесс, 12 тредов - тормоза: uwsgi работает по 5 секунд, nginx отваливается по таймауту (вероятно, что-то не так с тредами в uwsgi);
3. треды выключены, 12 процессов - всё хорошо. Правда la в районе 10 болтается, но, что удивительно, это несильно сказывается на скорости ответа. На 8-ядерном сервере при таком раскладе вообще всё летает. Буду дальше пробовать крутить процессы. Всем спасибо.

Кэшировать проксёй нельзя, специфика приложения.

Значит, можно поменять специфику, подгружать тяжелые фрагменты джаваскриптом, как всякие там фейсбуки делают.

Попробуй greenlets/gevent использовать вместо обычных тредов. Гуникорн умеет это из коробки.

Значит, можно поменять специфику, подгружать тяжелые фрагменты джаваскриптом, как всякие там фейсбуки делают.

У меня в принципе-то обычных страниц нет, один сплошной джаваскрипт. Динамические виджеты.