Учет всего трафика через интерфейс

iptables(он же интерфейс к netfilter) ну и netflow utils к нему

ipcad, если мне не изменяет память, умеет. А парсилка и рисование графиков - это уже сам добавляй. Лог пишет и по нему делай.

исктаь по словам ulog account

если просто сумовой - то проще всего MRTG или его варианты

softflowd + flow-tools + flowviewer

iptables(он же интерфейс к netfilter) ну и netflow utils к нему

Ага, модуль ipt_netflow и какой-нибудь nfdump, можно сразу nfsen, если картинки точно хочется.

А как ты себе это представляешь? Хочешь на каждый TCP SYN и UDP запись в лог? Ты же лопнешь, деточка.

Этих логов у тебя накопится слишком много, потом у тебя на сервачке закончится место и потом ты будешь спрашивать «Почему не коннектится по ssg ?»

Есть же netflow

Есть же netflow

Netflow, конечно же есть. Но в постановке задачи ТС его использовать проблематично: либо увеличивать уровень агрегации (что, строго говоря, уже не netflow), либо использовать архитектуру сенсор-коллектор-анализатор (что невозможно по условиям).

Но в постановке задачи ТС его использовать проблематично

Почему же ?

либо использовать архитектуру сенсор-коллектор-анализатор (что невозможно по условиям).

А это почему ? У него там сервер свой. Всё легко ставится на него, кушает не много совсем.

ТС не сказал невозможно, он выразил нежелание поднимать полноценный биллинг исключительно ради одной из вторичных функций этого самого биллинга - учета траффика.

Стандартная агрегация netflow включает в себя ип и порт источника, ип и порт назначения, кол-во байт, кол-во октетов, номер протокола, тип сервиса, интерфейс - это стандартный набор полей их нельзя отключить.

Ставится коллектор - пакет flow-tools, отчет можно генерировать через flow-report по собранным данным, логи хранятся в двоичном виде, мне 10 Гб хватает на 10 дней при суммарном траффике в 2 ТБ в сутки. Конечно все зависит от интенсивности потоков (кол-во соединений в единицу времени, потому как на каждое создается отдельная запись).

Конечно все зависит от интенсивности потоков

Вот-вот. И что за «машина». А то ведь плата может взиматься не только за место, а еще и за IO (хорошо, конечно, когда дедикатед, но не всегда такое бывает). И устойчивость к DoS снижается. И нагрузка на администратора возрастает. А выгоды неочевидны.

darkstat совсем не пойдёт?

+1
Но нету анализа по типу трафика как в циске sce2020 и тд и тп. Есть ipoque , но не полностью свободный + технологии немного подустарели , так что надо начать свой форк!

У меня весь траф идет через haprxoy - для веба и хайлода - самое оно. В haproxy включил логирование запросов, он шлет их на системный syslog. В самом syslog отключен udp прием на 514 порт, а вместо этого мой велосипед висит на этом порту и принимает стату, парсит и пишет куда надо. Все в реалтайме.

А как ты себе это представляешь? Хочешь на каждый TCP SYN и UDP запись в лог? Ты же лопнешь, деточка.

Нет конечно. Я хочу грубо говоря, видеть, сколько трафика скушали разные сервисы. Ну и веб-сервер и фтп. Плюс-минус пару гигабайт не критично, важен порядок

Этих логов у тебя накопится слишком много, потом у тебя на сервачке закончится место и потом ты будешь спрашивать «Почему не коннектится по ssg ?»

Мне достаточно логов за месяц. Все, что старше - уже неактуально. Да и не думаю, что логи займут несколько терабайт. Да и думаю настроить ротацию, мне нужен скорее график потребления, а не логи как таковые.

А то ведь плата может взиматься не только за место, а еще и за IO (хорошо, конечно, когда дедикатед, но не всегда такое бывает).

У меня своя железка, так что IO не очень критичен, если он не завалит 6 хардов конечно же.

Собственно, даже уточню задачу - у меня случайно утекло лишних 300 гб трафика с сервера. Логов нету, в датацентре ничего не знают. И я решил для себя мониторить, где что у меня кушает трафик

Нет конечно. Я хочу грубо говоря, видеть, сколько трафика скушали разные сервисы. Ну и веб-сервер и фтп. Плюс-минус пару гигабайт не критично, важен порядок

Ну есть netflow + сжатие то 80 гигов при нескольких тысяч сессий в секунду и сотнях мегабитов хватит на пару месяцев.
И пишет каждый sys и ack . Ведь хедеры весят очень мало !

Я хочу грубо говоря, видеть, сколько трафика скушали разные сервисы.

если политики по умолчанию DROP, и каждый сервис отдельно разрешается (без совместных ipset или multiport) то у вас так всё уже есть :) iptables ведёт счётчики по каждому правилу. Достаточно их периодически считывать.

Собственно, даже уточню задачу - у меня случайно утекло лишних 300 гб трафика с сервера. Логов нету, в датацентре ничего не знают. И я решил для себя мониторить, где что у меня кушает трафик

нормальное оперативное решение - раз в 10-15 минут скидывать статистику iptables. А то пока разберёшся с насоветованными билингами ещё 300 гиг сгинут