Посчитать количество пакетов в секунду на сервере

В лучших традициях этого форума ты описал свои фантазии на тему решения некой задачи, не описывая саму задачу.
Это путь, полный боли и страдания. Подумай, хочешь ли ты по нему пройти

А чего непонятно та. Нужно посчитать количество запросов в секунду с каждого ип. Стандартными методами не нашёл как (

покажи одну строчку из своего акцеслога

143.137.240.98 - - [30/Dec/2022:18:36:38 +0300] «GET / HTTP/1.1» 200 4665 «-» «Mozilla/5.0 (X11; Ubuntu; Linux i686 on x86_64; rv:47.0) Gecko/20100101 Firefox/47.0»

cat access_log | awk '{print $1,$4}' | sed -e 's/:/ /g' -e 's/\[//g' | awk '{print $2,$3":"$4,$1}' | sort | uniq -c

Как-нибудь так, наверное.

Благодарю то что нужно. Не подскажете как отсортировать по количеству запросов?

Правда считает без секунд: 202 30/Dec/2022 18:36 101.109.223.109 17 30/Dec/2022 18:36 101.109.186.128 124 30/Dec/2022 18:36 101.109.183.134 126 30/Dec/2022 18:36 101.109.176.133

18:36 час минуты

https://goaccess.io/

Спасибо.

<offtopic on> Заголовок поправьте, а то видя его в списке ожидаешь увидеть ну совсем про другое.

работает.

хотя нет.почему то считает несколько ип повторно:

162 31/Dec/2022 15:57:01 104.208.113.195
164 31/Dec/2022 15:55:54 104.208.113.195
164 31/Dec/2022 15:57:08 104.208.113.195
166 31/Dec/2022 15:57:15 104.208.113.195
168 31/Dec/2022 15:56:37 157.245.42.150
168 31/Dec/2022 15:57:42 152.69.220.225
183 31/Dec/2022 15:56:25 152.69.220.225

Всё правильно считает.

От сюда следующая проблема, имеем такой список:

…

159 31/Dec/2022 15:58:46 103.227.177.76
162 31/Dec/2022 15:57:01 104.208.113.195
164 31/Dec/2022 15:55:54 104.208.113.195
164 31/Dec/2022 15:57:08 104.208.113.195
166 31/Dec/2022 15:57:15 104.208.113.195
168 31/Dec/2022 15:56:37 157.245.42.150
168 31/Dec/2022 15:57:42 152.69.220.225
183 31/Dec/2022 15:56:25 152.69.220.225

имеем правила в iptables:

-A INPUT -p tcp -m tcp –dport 443 -m hashlimit –hashlimit-upto 20/sec –hashlimit-burst 20 –hashlimit-mode srcip –hashlimit-name abc -j ACCEPT

-A INPUT -p tcp -m tcp –dport 443 -j DROP

Почему не работает интересно. Буду разбираться.

Попробовал подругому:

-A INPUT -p tcp -m tcp –dport 443 -m hashlimit –hashlimit-above 5/sec –hashlimit-burst 5 –hashlimit-mode srcip –hashlimit-name abc -j DROP

157 31/Dec/2022 20:54:36 159.223.173.237
164 31/Dec/2022 20:54:27 143.110.186.10
168 31/Dec/2022 20:54:29 125.143.142.204
168 31/Dec/2022 20:54:30 167.71.241.136
168 31/Dec/2022 20:54:31 3.230.123.103
168 31/Dec/2022 20:54:35 167.71.241.136
168 31/Dec/2022 20:54:39 47.243.88.120
168 31/Dec/2022 20:54:40 125.143.142.204
181 31/Dec/2022 20:54:34 1.221.173.148

Более 180 запроов в секунду при лимитах 5 пакетов в секунду.

или hashlimit не работает или я делаю что то не так.

АП при такой конфигурации работает:

-A INPUT -p tcp -m tcp –dport 443 -m hashlimit –hashlimit 5/sec –hashlimit-burst 5 –hashlimit-mode srcip –hashlimit-name abc -j ACCEPT

-A INPUT -p tcp -m tcp –dport 443 -j DROP

Имеем

  4 31/Dec/2022 21:05:01 52.214.198.69
  4 31/Dec/2022 21:05:07 77.45.132.254
  5 31/Dec/2022 21:05:06 167.172.75.22
  5 31/Dec/2022 21:05:10 178.34.151.66
  6 31/Dec/2022 21:05:17 85.140.3.100
  7 31/Dec/2022 21:05:07 172.104.125.58
 15 31/Dec/2022 21:05:08 172.104.125.58
 15 31/Dec/2022 21:05:10 172.104.125.58
 16 31/Dec/2022 21:05:09 172.104.125.58

Мне глубоко симпатично твоё упорство в решении какой-то неведомой задачи, которую ты упорно не желаешь описать.
На всякий случай упомяну, что в Nginx есть свои достаточно гибкие механизмы rate limit, с помощью которых можно реализовать зайчатки WAF

Я пытаюсь ограничить запросы к серверу http порт использую в качестве теста.

Пока вариант:

-A INPUT -p tcp -m tcp –dport 443 -m hashlimit –hashlimit 5/sec –hashlimit-burst 5 –hashlimit-mode srcip –hashlimit-name abc -j ACCEPT

работает но сильно нагружает nginx или сам файрвол т.к. при таком правиле сайты работают оч медленно. При стресстесте вообще еле прогружаются при условии нагрузки на спу всего около 20-30% в момент атаки.

Ресурсы на сервере есть как и канал не забит. Где узкое место непонятно.

1. tcp-пакет не то же самое что http-запрос

2. ты не можешь запретить присылать тебе запросы, но ты можешь не отправлять ответы (что ты и делаешь)

выключи keepalive, запрети http/2

Спасибо.

Попробовал limit для ограничения запросов а не пакетов.

Работает хорошо. Только ограничивает все запросы сразу. Нет правила для ограничения с каждого ip?

Спасибо попробую потестировать так.

Попробовал настроить ngx_http_limit_req_module

При досс атаке:

311 31/Dec/2022 22:12:09 176.77.33.241
312 31/Dec/2022 22:11:57 95.78.175.117
314 31/Dec/2022 22:12:04 95.78.175.117
331 31/Dec/2022 22:11:54 176.77.33.241
335 31/Dec/2022 22:11:46 176.77.33.241
378 31/Dec/2022 22:12:06 95.78.175.117
383 31/Dec/2022 22:12:10 176.77.33.241
387 31/Dec/2022 22:12:06 176.77.33.241
390 31/Dec/2022 22:11:49 184.82.196.69
429 31/Dec/2022 22:12:08 176.77.33.241
436 31/Dec/2022 22:11:59 176.77.33.241
563 31/Dec/2022 22:12:13 176.77.33.241

в nginx добавил:

limit_req_zone $binary_remote_addr zone=one:10m rate=5r/s;

в хост:

location ~ \.php$ {
            limit_req   zone=one  burst=5 nodelay;
	include snippets/fastcgi-php.conf;

Что делаю не так?

Мм...я так понял, концепция изменилась и теперь надо отразить DDoS, а не посчитать количество запросов, как ты утверждал ранее?
А может быть и что-то ещё, но ты традиционно не расскажешь об этом, до поры до времени?
Как уже выше сказал slowpony все эти танцы с бубнами не запрещают атакующему делать запросы, а лишь изменяют логику их обработки на твоём хосте.
Поэтому в логах запросы так и будут отображаться, это хорошо и правильно (нууу, до какого-то момента, если уже диск не потянет запись access логов, то не очень хорошо, да)
Если у тебя срабатывает rate limit правило, то Nginx дропает такой запрос быстрее(т.е. не будет запросов в бэкенд и прочие апстримы и файловые системы).
Нужно проверить соотношение по кодам ответа.
При срабатывании rate limit запрос отбивается с кодом 403 - это дефолтное ожидаемое поведение (код ответа можно переопределить)

В принципе, это нормально иметь некие защитные трешолды как на L4, так и на L7(где ты можешь ограничить количество обрабатываемых запросов на уровне конкретного локейшена. Ибо отдача статичного файла из кеша в оперативке на порядки быстрее, чем сходить в базу)

Понял. Значит я неверно считаю входящие запросы. Теперь понятно. Спасибо. limit работает но с большим сайтом сразу ложит его какой бы лимит не выставлял. С включенным кешированием нагрузки почти нет.

Судя по повторяющимся ip это не совсем ddos. iptables connlimit не подойдет?

Ип правильно повторяются по дате. Я сам нагружаю сервер запросами для теста. конлимит тут не подходит. В итоге реально работает только кеширование всё остальное почти не эффективно.

конлимит тут не подходит.

Почему?

Он не как не ограничивает запросы с ип. Только соединения.

Бжалд, что есть «запросы с ип» и что есть «соединения» в вашем понимании?

При запросе отправляются данные. При соединении просто устанавливается соединение для передачи этих данных. Примерно так.

И? Если соединение не установлено то какая передача данных?

Если соединение не установлено то ничего не передастся.

Если соединение не установлено то ничего не передастся.

Та ладно. Такой большой маленький, а все в сказки веришь. Вопрос: что такое установление соединения по UDP ?

udp у меня ограничен со стороны хостера. Тут речь про tcp порты же.

Ясно. Ответа на «что такое установление соединения по UDP ?» не будет.
ЗЫ Про TCP накиньте плиз тоже. Что такое «установление соединения»

На сколько я знаю udp протокол не устанавливает соединения просто льёт трафик. И?

Ну т.е. ответа не будет, не про udp ни про tcp. ЧТД.

Про udp я вам ответил. Про tcp происходит обращение клиент сервер syn пакетами, если пакеты дошли происходит соединение.

Не ответили не про udp, и прогнали херню про tcp. Знаний ровно ноль. Еще раз ЧТД.

Хорошо. Накидайте правил с конлимитом пожалуйста.

Накидайте правил

Вам ещё 3-5u сервак не подогнать до кучи? Не, а что, может он вам поможет «ограничить трафик».

Я выше написал что конлимит не поможет. Что вы хотите доказать?

Он не как не ограничивает запросы с ип. Только соединения

Ты если вырубишь keepalive с http/2 в nginx (на время дудоса), то у тебя на одно соединение будет приходиться как раз один запрос. В противном случае тебе запросы только внутри соединения только внутри nginx на L7 считать нормально выйдет.

Что вы хотите доказать?

Вам? Похоже ничего.

Ну сделай себе какой-нибудь механизм, который будет по формальному признаку триггерить паник-бункер: вырубать http/2 и keepalive, врубать правила в файрволле и connlimit в nginx, одновременно, можно даже вместе с кешированием. И таким же макаром обратно, если «дудос» больше не фиксируется 5-10 минут.

Да я уже протестировал. Сам файрвол работает с лимитами но появляется задержка в скорости сайта. Небольшая.

По поводу nginx он почему то при ддос атаке никак не помог сразу ложил сайт.

А так, мож лучше за Флару спрятаться?
https://www.cloudflare.com/plans/free/

читай про netflow, а то что ты делаешь, это анонизм.