Как понять на чем тормозит nginx?

Это какие то особые запросы или обычный WEB?

Для начала запиши трафик между nginx-ом и бакендом внутри докера tcpdump -s0 -w dump.pcap -i any port $YOUR_PORT.

Затем посмотри на тайминги пакетов в wireshark. Очень похоже на самопальную реализацию HTTP, где присутствует несколько write-ов, в результате при keep-alive между nginx и демоном включается алгоритм Нейгла и появляется задержка (правда ее значение порядка 200 мс).

Запрос крупный?

http://nginx.org/en/docs/http/ngx_http_core_module.html#client_body_buffer_size

Мелочь, запрос 37 ответ 224 байта.

Очень похоже на самопальную реализацию HTTP

Там томкат сидит

Но попробую поглядеть

Проксирование идёт на https ?

Спасиба!

Итак оказалось что накладные расходы дает ссл. Я это конечно предполагал что ссл вносит задержку, но не думал что ТАКУЮ.

Вопрос теперь что мне с этим делать? Как-то неуютно когда ответ формируется за 15 мс а клиент получает 200 + 200 = 400 мс сверху только на крипте.

Классика жанра. Если сеть твоя и доверенная, между прокси и веб-сервером голый http или ajp

Если сеть не доверенная...

Пусть nginx держит коннекты к upstream'у

И ещё гугли в сторону dh_param. Обычно реверс-прокси кэширует информацию о том, какие протоколы он _уже_ согласовал с клиентом, чтобы в следующий раз установить соединение быстрее. Скорее всего, это должно работать и в обратную сторону - твой веб-сервре в контейнере должен кэшировать информацию о tls. Возможно, на установку соединения будет тратиться меньше времени

http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive

В том то и дело что за нжиниксом доверенная сеть и хттп, а нжиникс накрывает всё хттпс. Как я понимаю кеширование сессий будет работать только если клиент это поддерживает (например браузер) и только для последующих запросов.

Я только не понимаю чего оно такое медленное, пытаюсь понять работает ли аппаратная поддержка.