Слежение за http и https БЕЗ видимой подмены сертификатов

Спасибо.
Понял. Суть в том что имя требуемого виртуального хоста не шифруется.
А насколько вообще этот SNI распространен? И как будет себя вести squid, если SNI на том сервере к которому подключается клиент будет отключен?

Задачу можно решить без squid'а. Я как-то писал и на лоре, и на хабре как можно мониторить пользовательский трафик по-доменно без проксирования ( https://habrahabr.ru/post/272565/ ). Хотя, сисадмины редко отходят от линии партии - пишут в интернетах что мониторить можно только сквидом, будут мониторить только сквидом (хоть для этого и придется нагнуть пользователей).

Идея в статье очень простая - пользователи, прежде чем попасть на сайт (ну или как-то еще обратиться к хосту), резолвят его DNS'ом. Даже если они резолвят его не на вашем DNS-сервере, ответы можно перехватить и распарсить. У вас появляется список IP-адресов нужного домена (или группы доменов), а дальше можете мониторить уже традиционными средствами для IP-мониторинга.

В вашем случае можно даже обойтись без netflow. Просто считать трафик от хостов с соц.сетей во внутренние хосты. Я бы попробовал сделать ipset со счетчиками, в котором все хосты внутренней подсети (прямо все /24 или сколько там у вас). Пропускал бы через этот ipset трафик от соцсетей и дампил счетчики раз в сутки. Но у вас необычная конфигурация, это придется делать на отзеркалированном с микротика трафике, может быть придется повозиться

кеш DNS'а порушит систему. Также есть кнопки соцсетей на обычны сайтах, также оттуда могут картинку тянуть или такая картинка придёт другим путём. Решение проблемы - это или руководство лечит мозг или валить оттуда. Если хочется потренироваться в подсчёте статистики, достаточно прозрачного сквида, да. Если достаточно информации о том на какой домен кто сходил и сколько скачал, достаточно маленького скрипта на awk. Можно объяснить руководству что они заменяют работу с кадрами анонизмом. Последнее более честно.

это бесполезная затея

Это?

ssh -C2qTnN -D port user@host -p port

чезабред. благодаря социальным кнопкам, всяким встройкам видео на сайтах и прочему говну, юзер будет числиться заядлым посетителем вконтакта,пейсбука и ютуба, даже если он их ни разу в жизни не видел.

кеш DNS'а порушит систему

bdfy

чезабред

Ну, вот об этом я, собственно, и писал. Сетевые эксперты со сквидом наперевес, всегда готовы объяснить как нужно правильно делать

Неа, если делать выборку по обьему, то будет понятно кто реально не вылезает из соц сетей а у кого это только косвенно - «кнопочки и т.п.»

вещь хорошая, но вывода как такового нету. Т.е. как мне с этого вывести адекватную таблицу посещений - я не понял. В конце концов не буду же я логиначальству кидать.. ) Тема с коллектором, умеющим адекватно отображать ип клиента -> домен (скачано в байтах) - по-прежнему актуальна..

вывода как такового нету

Так это и не задумывалось как утилита для отображения отчетов. Задумывалось просто как вспомогательная утилита, чтобы держать соответствия IP-адресов и доменов (с оговорками, конечно, особенно для виртуального хостинга и всяких балансировщиков).

То есть если вам нужно, скажем, знать сколько какой адрес из вашей сети слил с vk.com и поддоменов за сутки - это можно сделать (и без netflow) довольно просто, счетчиками iptables/ipset.

Тема с коллектором, умеющим адекватно отображать ип клиента -> домен (скачано в байтах) - по-прежнему актуальна

А вот такое не факт что вообще есть в опен сорц. Хотя, кто знает. Ну, если http/https вам достаточно, берите сквид

Мы делали netflow-коллектор для внутренних нужд ( http://xenoeye.com ), пока компания не, э-э, перепрофилировалась от кризиса.

После долгих размышлений и разговоров с админами заказчиков решили что генератор отчетов должен вести себя так: пользователь (который смотрит отчеты) медитирует в графики, потом внезапно видит что-то необычное. Говорит «хренасе, а это еще что?», тыкает в это мышкой, а ему отдаются домены из которых этот IP-адрес получился (и/или whois/rDNS на текущий момент). Лучше ничего не придумали, все-таки информация о доменах к netflow прикладывается довольно сильно сбоку.

Может быть (а может быть и нет) я как-нибудь соберусь с силами и что-нибудь с этим нашим заброшенным коллектором сделаю (были мысли прикрутить выделение кластеров трафика и поиск аномалий), но пока совсем не до этого.

Если найдете коллектор, который хорошо интегрируется с DNS, было бы интересно посмотреть как это сделали.

впринцепи я нашел только http://nfsen.sourceforge.net/ там это сделано, только сделано не там. Я пока изучаю местный кодинг, думаю, как бы заставить логи переделываться на ходу под него (из nfdump)

ну и паралельно смотрю сквид, но пока я его не заставил проксировать https.. У меня вылезает предупреждение о левом сертификате, как обойти - не знаю. Кароче в процессе обзавелся считалкой трафика, а вариант с проксированием 100+ клиентов через виртуальную машину, вариант так себе, ибо машина под виртуалкой.. Но если вариантов не останется - сделаю

Господи, неужели так сложно пускать юзеров на сквид через http CONNECT? Там даже конфиг-то трогать не надо для этого! Я конечно понимаю что по сети ходят мануалы сплошь с перехватом https... Или вам одного SNI недостаточно?

Лучше ничего не придумали, все-таки информация о доменах к netflow прикладывается довольно сильно сбоку.

Я пользовал следующую схему, хранение данных в муське, а потом агрегация за определенное время (например раз в сутки) и вот уже в агрегированную таблицу добавил поля с именами хостов, т.е. при заполнении заодно и имя по ip получал. Как говориться «тупо и злобно». Для небольшого кол-ва пользователей 30-40 которые в том числе и инетрадио пользовали вполне норм работало.