Слежение за http и https БЕЗ видимой подмены сертификатов

Если клиентские тачки под контролем, то почему просто не воткнуть свой корневой сертификат?

И не работают у него в прозрачном режиме порты

http_port 3128 accel vhost allow-direct

Для https можно автонастройку прокси использовать и ловить в логах что-то типа:

CONNECT vk.com:443

там все печально, поверьте мне. Все тачки под линями, никаких централизованных политик, ничего. Такое наследство мне досталось с месяц назад. Вариант без кальмара вообще есть?

В сети одной небольшой организации у руководства появилась навязчивая идея отслеживать кто посещает соцсети

Ты уже объяснил руководству иррациональность этой затеи?

Зачем тебе сам траффик, если IP известны? Netflow на шлюз и рапортуй себе кто куда ходил.

Зачем тебе сам траффик, если IP известны? Netflow на шлюз и рапортуй себе кто куда ходил.

чем рекомендуете посмотреть? К тому же не прогружу ли я микротик такими вещами?

Ты уже объяснил руководству иррациональность этой затеи?

это бесполезная затея

А попробуй оригинальный способ?
Пиши докладную что надо купить специальный комплекс, например от Касперского, если такой делают.

не, фиг с ним.
было 10 лет назад, скоростя были 256кбит на 50 человек.

но сейчас то зачем? О_О

ЕМНИП iptables уже умеет в netflow. Читай про nfsen (ссылка выше).

Тоже самое можно навесить и на любой продвинутый свитч.

TL;DR: оно сохраняет и агретирует только IP шапки, без body. Их можно складывать и удалённо и локально. Нагрузки на CPU это практически не даёт.

В зависимости от законодательства это вполне легально, т.к. оно не сохраняет контент, а только кто куда и как часто. Проблемы могут начаться только если ты станешь сопостовлять внутренние IP с конкретными коллегами. (Личные данные и всё такое.)

По объёмам данных — веб контора в 100 душ генерирует примерно 4G за 3 месяца. Но это можно ограничить.

Смотреть/разбирать — тем же nfsen. Можно навесить различные alarm'ы на что угодно. Плезная штука в общем.

В первую очередь рекомендую задуматься над тем, кто сейчас сидит в соц сетях с ПК?

Пробовал в свое время настраивать прозрачный сквид на FreeBSD 10.3. На тот момент был какой то баг с постоянным сегфолтом при открытии по https. Одно могу сказать точно, что непрозрачный работает как часы.

squid + squidGuard + lightsquid + Ansible/Samba/GPO

• squid — проксирование
  
• squidGuard — управление доступом
  
• lightsquid — контроль доступа
  
• Ansible/Samba/GPO — деплой настроек

Как на счёт ложных срабатываний из-за:

• Виджетов авторизации через соц.сети
• Кнопки лайков для соц.сетей
• Картинки и видео из соц.сетей

???

никаких централизованных политик

Эту проблему нужно решить в первую очередь.
Как минимум, поднять на всех клиентах SSH.
Для реализации сабжа этого должно быть достаточно.

оно не сохраняет контент, а только кто куда и как часто.

Оно разве может отличить, это я в браузере набрал соц.сеть.дот.ком или мне не повезло попасть на сайт, который сам запрашивает что-то с соц.сеть.дот.ком? (Не все же установили у себя два-клика.)

У социального мусора обычно отдельные хосты для раздачи цифр типа «1 ваших друзей лайкнули этот псто»

но сейчас то зачем? О_О

гы, ты хоть раз видел как девочка смотря фотки (!) втентакле выжирает 3 МБит/с трафика? я видел. они блин как мне казалось даже прогрузиться толком не успевали. а когда в филиале всего 20 мбит канал и таких девочек штук 5 (сотрудников человек 100) - они забивают весь канал под чистую

Так а iproute2 зачем придумали? Балансировку можно настроить.

Так а iproute2 зачем придумали? Балансировку можно настроить.

смотря на каком оборудовании. там был основной косяк в чудесном творении компании DreyTek. если вдруг будешь халтурку брать и увидишь это слово в спеке - не бери, нервы дороже. потом уже когда нормальное поставили - стало норм, там была даже интеграция с AD чтоб прям по юзверю фильтровать для компов с вендой.

Спасибо за информацию! Запомню.

пользовалась одна конторка в филиале - нервов не тратили драйтеки. Я бы даже сказал, что наоборот. Поставил и забыл. Там вроде как можно было особо «опасным» девушкам было подрезать скорости.

Дошли руки, установил. Завтра буду смотреть, что там. Пока чутка почитаю про него. Так, на вскидочку - научить его резолвить днс сайтов то можно?)

нервов не тратили драйтеки. Я бы даже сказал, что наоборот. Поставил и забыл

от серии зависит. серия 2ххх (типа сохо) вполне ничего так в плане надежности в качестве роутера на 10 человек. серия 3ххх что под стойку - ад и погибель. не, когда опять же 10 человек сойдет. а вот подними на ней 30 IPsec'ов (GRE там кастрат, только с другими такими же пашет нормально, и то отваливается на каждый чих). оно будет падать в прямом смысле каждый день. тупо виснуть.

и кстати, я проверял - я могу эту штуку положить в ноль обычным браузером/curl'ом, тупо обновлять главную непрерывно. ляжет через 30 секунд даже пустой. если от одного потока не ляжет - от двух точно загнется.

Там вроде как можно было особо «опасным» девушкам было подрезать скорости.

можно, но только по src ip. т.е. если я хочу зарезать ей вконтактег до 56к и оставить только рабочую сеть на полную - хрен, не выйдет.

драйтек в качестве замены всяких длинков для маленьких филиалов - лучшее решение. Но мы ушли от темы. Трафик я вижу (и кстати мне нравится,как реализовано, все достаточно простенько), но чую я, что нужен скрипт, что будет логи «переделывать», меняя адреса с 80 и 443 портом на их днс. Напоминаю, задача увидеть, что юзер из сети смотрит контактик. Вопрос открыт =\

забыл добавить, инет то режется, но туннели там вроде как не трогались

драйтек в качестве замены всяких длинков для маленьких филиалов - лучшее решение.

микротик лучше. цена не сильно выше, зато умеет тот же ospf.

Но мы ушли от темы.

да не боись, ТС увидит :)

забыл добавить, инет то режется, но туннели там вроде как не трогались

трогались, все подряд режет. вернее все где src ip подходящий

Как на счёт ложных срабатываний из-за:

Виджетов авторизации через соц.сети Кнопки лайков для соц.сетей Картинки и видео из соц.сетей

А это и не важно, конечно такой трафик будет. Но одно дело - подгрузить беседу из вк, другое дело - смотреть новости\анимацию с вк(каждая гифка весит в среднем от 3мб, будет заметно)

да не боись, ТС увидит :)

Толсто :) Я ТС

Толсто :) Я ТС

а точняк :) а про драйтеки - не, блин, если выбирать между вигором 3300 за 30к и микротиком за те же бабки - только микротик. а то вот был у нас роутер HP, он умел DVPN (аналог DMVPN от сиськи). работает это добро через OSPF. ну и как я в фул-меш зацеплю вигор? он же кроме ipsec нихрена не умеет (не надо про　gre, там все грустно с ним). на микротике поднимается на раз-два. плюс надежность работы. плюс хоть какая-то поддержка vlan и тэгирования (то что в вигоре еще хуже). плюс мировая фича hotspot. плюс нормальный фаервол.

вигор - это ад и китай. заменить им dlink - ну, порты гореть не будут. но радости это не сильно прибавит, особенно когда больше 5 точек в фул-меш надо ставить.

о, кста, раз ты ТС :) микротик же прокси умеет. зачем тебе сквид? даже пример с пейсбуком есть, просто правило вместо deny надо типа log или что там есть. http://wiki.mikrotik.com/wiki/Manual:IP/Proxy

upd: а, не, там только allow-deny. ну тогда редирект на страницу-сниффер, и оттуда редирект куда хотели, редиректы умеет. ну или еще проще - смотря что он там в кэш пишет про каждый hit. скорее всего src ip тоже записывает.

Не поверите - я уже увидел 443 порты, как раз то, что надо. Осталось придумать, чем там резолвить днс. Я думаю, что к черту все скрипты, надо научитьего через пхп это делать

Осталось придумать, чем там резолвить днс.

вот потому я и говорю микротиковую родную проксю юзать, она умеет резолвить сама

Считалка огонь, я её на пару деньков оставлю крутится, посмотреть, сколько она схавает места на диске. Но мне надо видеть чертовы днс, кто там в вк, фейсбуки лазил.. И сделать на это фильтр..

Но мне надо видеть чертовы днс, кто там в вк, фейсбуки лазил.. И сделать на это фильтр..

ну, ты выгрузить ее можешь? если да - накатай на том же пузоне парсер, который будет брать строку, брать dst ip, запрашивать PTR-запись и пихать ее вместе с src ip в соседний файл. можно кэшировать в переменную чтоб не лазить для повторяющихся адресов. а фильтр - ну так там же как раз dst-host=www.facebook.com и есть фильтр. кстати так даже и запись не нужна

вот потому я и говорю микротиковую родную проксю юзать, она умеет резолвить сама

с L7 можно только блочить. А такой вариант не подходит, ибо есть такая профессия(например) HR менеджер - им то как раз нужны соцсети. К тому же я как раз хотел поднять считалку трафика, ибо не было даже этого.. Теперь будет. Но если научить резолвить не получиться - придется искать что-то еще. Для этого и создан данный топик..

есть такая профессия(например) HR менеджер - им то как раз нужны соцсети.

всем deny, allow только по служебке

ну, ты выгрузить ее можешь?

Мне это вообще не нужно, это нужно начальству. Что бы они, не отрывая пуза, могли иногда видеть, кто же там в вкшечку заходил на буднях. Не буду же я им парсер для такого писать, мне мониторинг нужен, а на их желания мне чихать, они только время отнимают от нормальной работы. Так что я совмещаю сейчас то, что мне нужно + инструмент для начальства

всем deny, allow только по служебке

Нет) Так и было сделано изначально, правда просто всем. Сделано до меня, я же, предложив такой вариант, получил отказ. Мол хотим видеть, кто куда ходит (видимо все же не только соц сети нужны).

Мне это вообще не нужно, это нужно начальству.

кто б сомневался.

Не буду же я им парсер для такого писать, мне мониторинг нужен,

ну, опять же - сделать короткий скрипт на пыхе/ноде/рельсах/сишечке (если ты эдик), который будет выцеплять счетчики с разными dst-host через api микротика, вырезать из них все кроме src ip, и отображать на странице.

парсер в любом случае придется делать. не текстовый же им файл ты сунешь. тут уж либо писать самому, либо субподряд (а это обычно головняк не меньше чем самому сделать)

пока что я нашел по этому вопросу: https://sourceforge.net/p/nfdump/mailman/nfdump-discuss/thread/4FB22428.90201...

Я им суну выборку по фильтру. Там впринцепи видно кое как, что кто-то залез в вк (хреновый вариант, надо по каждому ип адресу смотреть, но впринцепи если юзер сгенерирует большой траф с вк, его можно будет выследить методом тыка, хреновый, но вариант). Но фильтр явно надо дорабатывать. Если я разберусь, где в php скриптах там выдается выборка - сделаю простейшую функцию, которая будет резолвить днс прямо на полученной странице и добавлю минифильтр, который будет удалять лишнее, оставляя только нужный мне dns

я по прежнему не могу править собственные посты.. Вообщем пока что из всего, что я пробовал - это единственный нормальный вариант, который и трафик мне покажет и можно хоть что-то придумать с резолвом днс. Костыли какие то плин. Вроде нужная вещь, а её не реализовали..

ап

это единственный нормальный вариант

А чем вас не устроил вариант организации нормальной инфраструктуры, вместо горожения сомнительных костылей?
Неужели выделить хост под роль прокси и настроить удалённый административный доступ на клиентах так сложно?

хост отдельный есть. Административный доступ я уже настроил накануне (только ssh и rdp). Но я, хоть убей - не пойму, как научить кальмара, работающего на одном интерфейсе и в одной сети подменять сертификаты так, что бы в юзерских браузерах не светилась ошибка с левыми сертификатами.

хост отдельный есть. Административный доступ я уже настроил накануне

Хорошо, в таком случае что мешает задать параметры прокси централизованно через переменные среды в /etc/profile.d?
Все современные браузеры и большинство клиентских приложений должны подхватывать эти настройки.

Слушайте таварищи, объясните мне, тугому. Вот в случае подмены сертификата, я понимаю как происходит просмотр того, какой web-ресурс(сайт) запрашивает пользователь. А в случае https, если подмены сертификата не было? Ведь браузер соединяется с https ресурсом по его ip адресу(т.е. предварительно получив его), устанавливает ssl соединнение с сервером по ip адресу, а дальше внутри этого ssl соединения делает get запрос определенного сайта. Так как можно узнать, какой сайт внутри ssl соединения запрашивается и блокировать это без вторжения в это ssl соединение?

$ dig +short www.linux.org.ru
178.248.233.6
$ openssl s_client -connect 178.248.233.6:443 2>&1 | grep "^subject=/"
subject=/OU=Domain Control Validated/OU=PositiveSSL/CN=www.linux.org.ru

Так понятно?

Можно чуть чуть разжевать?

кое как понятно. Вообще есть такая интересная программа intersepterNG открывшая для меня в своё время эти премудрости. Но, если можно - поразжевывайте предмет, думаю, что не только мне это понадобится. (напоминаю, сквид ставлю впервые). Я и так уже залез в мануалы сквида, но боюсь, что еще и чтение его баг трекера я не осилю. Как заставить сквид работать прозрачно, мониторя трафик и находясь в одной подсети со своими клиентами (трафик я как-нибудь заверну через микротик, без dnat и snat создавая таким образом двойной нат). Тут ведь помимо его работы надо быть уверенным в том, что в том же гугле клиента не забанят.

заставить сквид работать прозрачно

Зачем это делать?
Чем вас не устраивает вот такой вариант:

# cat <<'EOF' >/etc/profile.d/proxy.sh
PROXY="http://proxy.example.org:3128/"
NOPROXY="10.0.0.0/8,127.0.0.0/8,172.16.0.0/12,192.168.0.0/16,::1,localhost,*.example.org"
export ftp_proxy="$PROXY"
export http_proxy="$PROXY"
export https_proxy="$PROXY"
export no_proxy="$NOPROXY"
export FTP_PROXY="$PROXY"
export HTTP_PROXY="$PROXY"
export HTTPS_PROXY="$PROXY"
export NO_PROXY="$NOPROXY"
EOF

Можно чуть чуть разжевать?

Объяснение теоретического аспекта: https://habrahabr.ru/post/267851/#comment_8628333
Практический туториал: https://habrahabr.ru/post/272733/