[TRAFFIC][LOG] Как логировать всё

ИМХО затея фашистская. но как говорится хозяин барин.. и так :

а)логировать защищенные соединения можно (имеет смысл) только по факту установки соединения..
б)если учесть что хранить логи надо 6 лет (это ты сказал :)) то честно говоря хз.. тут много взаимосвязанных моментов, начиная от количества пользователей, заканчивая интенсивностью использования интернетов. Короче говоря даже если ты будешь их брутально спрессовывать файлы логов, тебе все равно придется мутить некий стордж.
в) Полнота информации достигается командой tcpdump -i ethX -vvvv -other options. А так стоит смотреть в сторону Snmp и netflow. Давать конкретные советы что куда логировать имхо нет смысла.. ибо тебе лучше знать.

Посмотрим что остальные скажут.

Самая большая проблема как раз с местом - и storage не всякий поможет. Проще пойти к руководителю и дать ему счета на дисковый массив для хранения логов. А там они уж пусть сами решают эти вопросы с КГБ (вроде у вас оно)

>6 лет (это ты сказал :))

Время обучения одного студента без вылетов.

tcpdump -i ethX -vvvv -other options

винтов точно не хватит.

> вопросы с КГБ (вроде у вас оно)

уже сказало , только у нас ещё кроме этого ведомства интернетом занимается ОАЦ. А сказало следующее «ЗА СВОЙ СЧЁТ».

Ну так твое дело то телячье.. выстави шефу счет на стордж терабайт эдак на 20 и любуйся его рожей.. для прикола можно посчитать (примерно) во сколько обойдется год хранения логов.

>tcpdump -i ethX -vvvv -other options

винтов точно не хватит.

Сие шутка есть :)

скорее лица бухгалтеров.

Нормальной практикой считается фиксировать факт передачи данных, а не сами данные. Откуда, куда, по каким портам - и всё. SSL разгребать не надо - к чему такое усердие?

Инструментов куча: от ulog с ipfilter до netflow, объёмы данных на выходе минимальны.

то что у меня сейчас имеется - мне вполне хватает. Я могу по этим данным определить и вирусы, если появились, и кто куда по каким портам лазил - логи с trafd я не стираю.

Но фокус в том что нужно хранить урлы. как получить целый урл из https - я вижу только один способ - тащить историю всех браузеров и разгребать её на серваке.

Ты бы ещё раз почитал чему вас обязывают.

ИМХО товарищ as33 прав.. netflow будет вполне достаточно, для уролв вполне хватит кастомного формата логов сквида.

Тут важно знать одно - в каком формате требуется хранить логи. А как правило такого формата никто не называет - т.е. тупо говорят «храните логи 6 лет». Так что не стоит заморачиваться, как сказали выше - достаточно хранить «src ip» + «dst ip» + «src port» + «dst port» + «timestamp» + «Nbytes».

Была похожая ситуация в РФ у знакомых - пришли дяди из МВД и сказали что им нужны логи некоторых серверов клиентов которые хостились в ДЦ на коло. На что в ответ они получили несколько ДВД болванок вывода tcpdump'а за пару дней. Больше никто не приходил.

буду ждать проверки. всё равно отгребу,даже если всё будет впорядке.