Nginx: не получается выжать 1M RPS

и во что уперся nginx ? ядра проца,память, iops ? какой запрос тестирует nginx?

AFAIK? на обычном десктопном железе он может 1M RPS.

Вот и я озадачен, что за хрень.

Памяти свободной дофига и больше, процессор он вроде до предела не нагружает. Как уже говорил, на одной машине я запускаю wrk, а nginx всегда отдаёт response 200. В случае с hello-world HTML страничкой тоже ничего не меняется.

конфиг дефолтный? версия nginx, дистр

Да, добавил только:

    server {
        server_name benchmark;
        listen 80;

        location / {
                return 200;
        }

htop на машине с nginx во время теста что кажет, на сколько ядер размазывается?

На все (workers_processes auto создаёт 24 потока), нагружены примерно на 80%.

Прерывания от сетевухи раскидал по всем ядрам скриптом из ixgbe драйвера.

worker_processes     24;
worker_rlimit_nofile 262144;

daemon off;

events {
  use epoll;
  worker_connections 16384;
}

error_log error.log;
pid nginx.pid;


http {
  access_log off;
  sendfile   on;
  tcp_nopush on;

  keepalive_requests 100;
  open_file_cache max=100;

  server {
    listen [::]:8080 ipv6only=off reuseport backlog=16384;

    location / {
      root   html;
      index  index.html;
    }
  }
}

и вот

./wrk -t12 -c400 -d30s http://127.0.0.1:8080/index.html
Running 30s test @ http://127.0.0.1:8080/index.html
  12 threads and 400 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   592.47us    3.19ms 126.50ms   97.55%
    Req/Sec   104.25k     5.42k  139.93k    86.36%
  37427950 requests in 30.10s, 29.59GB read
Requests/sec: 1243449.23
Transfer/sec:      0.98GB

не может

Здесь смотрел https://github.com/fukamachi/woo/blob/master/benchmark.md . Но, видать, результаты мне приснились. :) И там да, не статика, но, наверное, я там 100к как 1М прочитал.

У меня на двуядерной виртуалке где рядом еще другие толкались пару лет назад сабж выдавал на wrk + return 200 (как у тебя 1 в 1) 500к в секунду без проблем. Так что на 24 ядрах зависимость должна быть линейная.

Включи REUSEPORT, он сильно ускоряет. https://www.nginx.com/blog/socket-sharding-nginx-release-1-9-1/

Включил, раскидал прерывания от сетевухи по всем ядрам (на машине с wrk), стало где-то 550K.

Сделай больше клиенстких потоков в wrk, я думаю ты упираешься в rtt latency. Запас по цпу на сервере с nginx то есть?

Запас по цпу на сервере с nginx то есть?

Да, судя по всему он не особо напрягается. Когда пытаюсь запускать wrk больше чем в 12 потоков (количество ядер на той машине вместе с HT), то RPS резко падает.

поставь на машину с nginx какой-нибудь telegraf, поставь графики утилизаций и нагрузки твойе нагружалки рядом и смотри как они коррелируют. Не исключено что ты в какой-нибудь лимит уперся.

Треды не трогай. Коннектов больше сделай, не 400 а там пару тысяч.

У тебя среднее ртт 0.5мс, в реальности повыше. В итоге 400 коннектов в 1 секунду могут сделать не более 400 * 1000мс / rtt запросов.

Это и есть твой лимит.