nDPI как замена l7filter

какой кэш имеется ввиду? если bt_hash, то специально выключал. т.е. сразу подумал про такой сценарий, но ведь в торрент попадает и заведомо днс-трафик с моих серверов, на которых точно не было торрентов.

там в node_id есть кеш на 8 портов.

Надо будет попробовать его отключить.

Настроил в конце концов все это по мануалу as_lan'a на ubuntu 14.02.2

И не могу понять, в чем дело! Почти ничего не блокируется! Настроенный шлюз в конечном итоге блокирует 100% только bittorrent. HTTP частично блокирует, при этом youtube, mail.ru пакеты проходят, отдельное правило по пакетам youtube тоже не работает. teamviewer, apple, skype - ничего не работает.

Блокирую правилом в iptables iptables -t mangle -A POSTROUTING -m ndpi --proto $proto -j DROP

Прошу простить мою недалекость. Не могли бы Вы меня направить, что тут не так?

DROP нужно делать в таблице filter, а не mangle.

И не будет работать. я отписался в багтрекере по поводу youtube. Разработчик сперва сказал что у него все нормально. Отправил дампы и все... Тишина. НИ скайп, ни youtube, ни teamviewer ndpi не детектирует.
Ссылка на баг https://svn.ntop.org/bugzilla/show_bug.cgi?id=522

У меня в mangle дропается торрент

Тогда что он вообще детектирует? Только bittorrent?

http, http-alt, icmp, ssl, dns, bittorrent, ssh, ftp. это то что я проверял. Мне большего и не было нужно. Ну разве что еще youtube, teamviewer, skype и по mime type еще (avi, mpeg) но это пока не работает

А там кстати будет или есть ли функционал подменять сертификат для https сессий чтобы содержимое просматривать?

нет. Мне не известны такие приложения вообще (по крайней мере из бесплатных) иначе этот MITM атака по сути и весь смысл в https пропадает.

Спасибо за информацию!

Я хотел бы снова поднять вопрос по сторонним утилитам от нтоп.

кто-нибудь все использует их сторонние проги типа pf ring nprobe ntopng может допилили?

А как же это http://www.thoughtcrime.org/software/sslstrip/ ?

Он работает если соединение сперва проходит по http. Там где вы сперва переходите по http, потом вас перебрасывают на https. Вот пержде чем будет редирект, там и сработает sslstrip. Завернуть на него весь трафик 443 и перехватывать все, когда жертва сразу открывает сайт по https у Вас не получится.

немного грубо объяснил. Но суть думаю понятна. Одним словом это немного не то, чем Вы его представляете)

интересная вещица. ее бы прикрутить грамотно и с НТТР проблемы бы решились все.

Кстати, я хотел спросить. Если действовать по вашей инструкции для установки на дебиан 7.8 без патча ядра, то с какого пункта лучше начать?

Если Вам IMQ не нужен, то с 10. Если хотите использовать IMQ то с самого начала, так как без патчей IMQ никуда.

первая проблема на скрине. http://hostingkartinok.com/show-image.php?id=a25ad6baa0100b758b6ba44425390519

Я сначала поставил хтэйблс-аддонс-коммонс, но в пункте 11 ндпи ругнулся. решил скопировать пункт 10 и вот проблем.

пс. с дебианом уже была проблема, я тогда на убунте поднял. И вот снова.

Там в первой же строке написано, что ядра ниже 3.7 не поддерживаются.

косяк. собралось все.

Хотел спросить еще. где взять ndpireader и вообще, какими средствами тестировать правила лучше, нагляднее?

«configure && make» в nDPI

В каталоге example будет, ndpiReader

Но пока я вижу в нем только один смысл - первоначальное тестирование и некоторая помощь разработчикам.

снова проблем http://hostingkartinok.com/show-image.php?id=72589605c0c7dea029137a2908c3d0d8

тут я точно не знаю что делать.

а «rm configure» сознательно делается ?

я обычно делаю «autoreconf -fi» в таких случаях

rm configure сознательно. толку от него 0 было. libtool поставил и все заработало.

Добавил некоторое удобство для маркировки и приоритезации.

Для каждого протокола можно задать метку(u32) и маску(u32) в /proc/net/xt_ndpi/proto, там же их можно посмотреть.

Можно изменить всем протоколам значение метки или метки и маски, указав вместо ID протокола «all» или «any». ANY - это любой известный протокол, т.е. all - unknown.

По "-j NDPI --ndpi-id" для метки или приоритета будет сделано сначала «& ~mask», а затем «| mark»

тестировал ндпи ндпиридером и л7 на микротике. результаты не однозначные.

1) кто-то говорил, что ютьюб плохо определяется, но л7 на тике любое нттр видео определяет на раз. 95-100% 2)битторент через юторент определяется очень хорошо( более 75%) 3)есть такая прога. зовется zona.ru и посредством торрента дает возможность просматривать видео. Короче торрент. И ндпи его определяет ооочень плохо. Хотел попросить вас помочь победить. С чего лучше начать?

у ndpi есть отдельно youtube и отдельно http. Http/реезы(куда попадает youtube тоже) определяется отлично. Но вот youtube отдельно нет.

Zona?? Фее...Такой софт ставить на свои компы.

1) понятно, что ютьюб все же определяется(только как группа протоколов), но в Л7 он определяется лучше всего и именно ютьюб, ложных срабатываний на уторренте 7-10%

2) фее или не фее, но не определяет. дело принципа. ПОЧЕМУ?! в моем случае это вопрос отсутствия головной боли от абонентов т.е. очень важный

За что отвечает параметр NF_CONNTRACK_CUSTOM? После выполнения make menuconfig он равен 4. Можно ли оставлять такое значение или обязательно исправлять на 2?

nDPI как замена l7filter (комментарий)

Только у меня iptables -L не показывает правил? или это из-за того, что без патчинга ядра работаю?

правила работают 100%

iptables -L -t mangle

С ядром 3.17 не собралось, а вот с 3.18 вск ок.

У меня все ок.

aslan@router:~$ uname -a
Linux router 3.17.0-v-ndpi+imq #1 SMP Sun Dec 7 21:30:35 MSK 2014 x86_64 x86_64 x86_64 GNU/Linux

aslan@router:~$ lsmod | grep ndpi
xt_ndpi               379428  1745

Какая ошибка при сборке?

Листинг не сохранил, но на патч IMQ ругался. Попутно еще вопрос, а как все это дело обновлять? Снова брать ядро и заново все пересобирать?

если ndpi который патчи ядро, то да, заново патчить ядро и собирать. Если версия без патча, то нет. Патчить не нужно ядро. Просто по новой собрать ndpi

Выложил обновленное до SVN r9249. Особо в изменения не вникал, но заметил правильные тенденции на счет протоколов которые тупо детектятся по портам. Похоже, что хотят сделать единый механизм.

Спасибо. Как раз думал, что давненько обновлений не было)

Появились новости.

1 - они переехали с этого мерзкого svn на git, и этот git на github, что хорошо! Но историю они похерили крестообразно перечеркнули.

2 - стартовал переход от монолитной структуры к модульной. Вроде как логично, но как оно будет выглядеть дальше - непонятно. Нужно подождать.

3 - часть данных, которые прибиты гвоздями в коде, планируют сделать в виде загружаемых ресурсов.
Это замечательно! Как только они выпустят что-то рабочее можно будет подумать как это реализовать в ядре.

Есть обновление (и для imq в том числе).

imq просто поддержка новых ядер, или что-то исправлено?

поддержка новых ядер + поддержка NETNS, которая раньше была отдельным патчем.

Обновил мануал по сборке под Centos. Сделал его еще более простым(хотя казалось бы куда еще). Проверил в виртуалке под свежей Centos 7. Все собралось и работает без ошибок.

там 1.6 nDPI вышел :)

но ничего революционного пока нет.

Новостей по поводу сделать ndpi-netfilter сделать частью ndpi нету?

Есть, но подожду пока они сделают модульную структуру.

as_lan, в каком состоянии последний билд? Что работает/не работает из протоколов? Спасибо.

Судя по гитхабу ничего значительного.