nDPI как замена l7filter

достаточно libxt_ndpi.so

libipt_ - это для совместимости со старыми расширениями (ipv4-only)

что у тебя выдает

pkg-config --variable=xtlibdir xtables

linux-vrfz:/ # pkg-config --variable=xtlibdir xtables
/usr/lib64/xtables

туда и положил его и ура!!! заработало)) Спасибо, без тебя никак.

Ща буду на 3,4 ядре пробовать на Debiane 7,5 - отпишусь по окончанию теста. Ты бы donation прилепил, на фонд развития патчей и ndpi-netfilter - ты просто столько делаешь и все на интузиазме)

ну с ndpi-netfilter IMHO все плохо - там чувак видимо забил на проект.

Похоже нужно в ntop-dev@ntop.org писать.

Я сейчас на перле написал небольшой парсер трафика BT. Часть BT-шного трафика проста в декодировании и понятна (и что важно - в ней есть полезная информация). А вот другая часть пока не совсем понятна и не яcно есть ли там полезная информация. Документации крайне мало.

А на счет энтуазизма - это открытый проект, развивают его те кому он нужен. Мне оно нужно. Спасение утопающих - дело рук самих утопающих. Но в одиночку трудно выявлять баги. Если кто-то займется тестированием, то это тоже пойдет на пользу дела. Есть идея попробовать перенести это на openwrt. Там бетта-тестеров больше :)

Я наконец-то решил зарегистрироваться) Мне бы на данный момент такой багаж знаний как у тебя - мог помочь тебе, но увы я вот только-только осознал, что нужно «достичь просветления» в кодинге (дабы подпиливать софт под свои нужды) и в итоге я могу только разве что помогать тестить. У меня достаточно много шлюзов, которым актуально обнаруживать ВТ трафик. Так что с радостью помогу с тестами.

Провел тест на Debian 7.5 с ядром 3.4.92. Ядро пропатчилось без проблем, собралось и установлено. Модули и все остальное тоже:

root@debianGW:/usr/src/nDPI-1.4.0.r7867_v2/ndpi-netfilter/ipt# lsmod | grep xt_ndpi
xt_ndpi               305190  2
nf_conntrack           57545  2 xt_ndpi,nf_conntrack_ipv4
x_tables               19042  3 xt_ndpi,ip_tables,iptable_filter

Правда после установки ndpi - ipp2p модуль перестал работать.

модуль ipp2p пересобирал после патченья ядра ?

нет

После изменения ядра НУЖНО пересобирать все модули.

Изменение размеров некоторых ядерных структур скорее всего приведет к краху ядра при попытке использования не пересобранных модулей.

Ок, понял. Кстати добавь в http://devel.aanet.ru/ndpi/ что на 3.4 ядре собирается и работает. А ты планируешь выкладывать свои доработки по ВТ протоколу в nDPI?

на ubuntu 12.04.04 после установки ndpi ipp2p (сам модуль ipp2p не требует патчей ядра или его пересборки для установки - он добавлен в xtables) остался работать без проблем, а на debian 7.5 и OpenSuse 13.1 перестал работать:

root@debianGW:/home/ramadan# iptables -A FORWARD -m ipp2p --bit -j DROP
iptables: No chain/target/match by that name.

на ubuntu 12.04.04

root@ubuntuGW12:~# lsmod|grep x_tables
x_tables               34060  4 xt_ndpi,[b]xt_ipp2p[/b],iptable_filter,ip_tables

на debian 7.5

root@debianGW:/lib/xtables# lsmod|grep x_tables
x_tables               19042  3 xt_ndpi,ip_tables,iptable_filter

и там и там в /lib/xtables лежит libxt_ipp2p.so и там и там

pkg-config --variable=xtlibdir xtables
/lib/xtables

единственное различие в libxt_ipp2p.so на дебиане в начале файла две строчки, которых нет в файле на убунту:

w _ITM_deregisterTMCloneTable
w _ITM_registerTMCloneTables

попробовал

 apt-get install --reinstall xtables-addons-common

Не то переустанвливал =) вот это помогло:

apt-get install --reinstall xtables-addons-dkms

да. nDPI мало завичит от версии ядра.

парсер DHT реально улучшает процент обнаружения BT.

Я с нетерпением жду твои доработки и нововведения. Готов тэстить в любой момент.

Раньше понедельника можешь не ждать - похоже я завтра вечером свалю из города. Если к понедельнику не умрет, значит оно в принципе работоспособно и можно будет обновить архивы.

на https://nagios.guap.ru/ndpi/ есть мониторинг проиходящего тестирования. Последняя серия графиков самая интересная - каждый второй график проценты неизвестного трафика по 4-м потокам раздельно tcp/in tcp/out udp/in udp/out

Пока < 1%, но как говорится - если дела идут хорошо, это значит вы что-то не замечаете :)

в любом случае крутяк. До понедельника буду графики смотреть))

со вчерашнего дня, примерно, с 15:00 какая-то тишина на графиках.

Там утечка памяти была такой, что я сам остановил процесс.

Прийду в себя после отдыха - продолжу.

жаль( жду новых известий

Мне кажется отдых удался))))))))))

три дня отдыхали так, что утром было трудно встать :)

На работе 3 для до отпуска - нужно выпонить некоторые работы.

Я пока собираю информацию о BT/DHT и образцы трафика для тестирования. Пока не понятно сколько время нужно хранить информацию о нодах/пирах ( а ее собирается много - 12000000 записей за час ).

Mother of God! 12 лямов Х_Х не удивительно, что до сих пор не написан L7 фильтр блокирующий торрент на 100% Я вот потихоньку просвещаюсь в программировании на СИ... такой путь еще пройти до минимального просвещения...

Забыл уточнить - во время отпуск ты будешь уделять какое-то время разработке или всецело в отдых?)

На неделю я уеду подальше от интернета.

Я пока собираю информацию о BT/DHT и образцы трафика для тестирования. Пока не понятно сколько время нужно хранить информацию о нодах/пирах ( а ее собирается много - 12000000 записей за час ).

Может по этой образцам поспрашивать на nag.ru (там сетевики тусуюся) ?

Привет. Как твои успехи? Что нового?

Пока ничего.

Сегодня сваливаю из города на неделю.

Тогда хорошего тебе отдыха.

Привет. Как проходит отдых?

Вчера вечером только вернулся.

по доброму завидую) я вот жду не дождусь тоже в отпуск ходить)

Vel, как дела с nDPI? Удалось победить количество хранимой инфы про ноды\пиры?

Вот что выходит при попытки подгрузить этот модуль:
root@wifi-master:/usr/src/nDPI-1.4.0.r7867_v2/ndpi-netfilter# modprobe xt_ndpi
ERROR: could not insert 'xt_ndpi': Cannot allocate memory
root@wifi-master:/usr/src/nDPI-1.4.0.r7867_v2/ndpi-netfilter#

Ядро:
root@wifi-master:/usr/src/nDPI-1.4.0.r7867_v2/ndpi-netfilter# uname -r
3.12.4-debilax
root@wifi-master:/usr/src/nDPI-1.4.0.r7867_v2/ndpi-netfilter#

Отпуск закончился. Завтра видимо продолжу.

Есть новости?) Хочется потестить.

Пока нет.

Какой средний процент шифрованного и не шифрованного p2p трафика детектируется у Ваших последнийх ревизий? Я имею ввиду ревизии которые еще не выложили в паблик.

я уже этого не вспомню - дело было 2 месяца назад.

Я надеюсь, что на следующей неделе смогу заняться ndpi.

Там появились новые трудности - они перешли к версии 1.5 и много чего переписали ( в правильную сторону ) и выкинули кучу левого кода, НО совсем непонятно, будет ли оно после этого компилиться для ядра.

будем ждать)

Кстати. Я тут заметил, что в ревизии 7740 не работает маркировка icmp.

root@aslanov:~# iptables-save -t mangle
# Generated by iptables-save v1.4.12 on Mon Sep 29 16:06:11 2014
*mangle
:PREROUTING ACCEPT [90:5943]
:INPUT ACCEPT [84:5525]
:FORWARD ACCEPT [6:418]
:OUTPUT ACCEPT [78:6375]
:POSTROUTING ACCEPT [84:6793]
-A PREROUTING -i ppp0 -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A PREROUTING -i ppp0 -m ndpi --proto ip_icmp -j MARK --set-xmark 0x14/0xffffffff
-A PREROUTING -i ppp0 -m mark --mark 0x14 -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A PREROUTING -i ppp0 -m mark --mark 0x14 -j RETURN
-A POSTROUTING -o ppp0 -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A POSTROUTING -o ppp0 -m ndpi --proto ip_icmp -j MARK --set-xmark 0x14/0xffffffff
-A POSTROUTING -o ppp0 -m mark --mark 0x14 -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A POSTROUTING -o ppp0 -m mark --mark 0x14 -j RETURN
COMMIT
# Completed on Mon Sep 29 16:06:11 2014

Пускаю пинг, но счетчики по нулям. Это только у меня так? Все протоколы не проверял, но http и ssh точно ловит. А icmp почему-то нет...

не пробовал. Но посмотрю.

Из хороших новостей - мне удалось смержить свои изменения с текущим svn R8369 (ndpi-1.5.1+) и запустить на тестирование. Если оно через пару суток не умрет, то выложу.

На счет ip_icmp - в новой версии оно работает. в 7740 отрезано все кроме udp/tcp, в 7867 icmp есть.

версии до 7867 нет смысла использовать.

Ну тогда лучше дождусь 8369.

Обновил страничку.

Спасибо! Сегодня вечером попробую и отпишусь.

Вот у меня вопрос. При использовании опций ndpi, я так понял сперва идет --value, потом номер метки, потом уже указываем clsf это или mark?

То есть например маркировка p2p меткой 5 будет иметь вид

-t mangle -A POSTROUTING -m ndpi --bittorrent -j NDPI --value 5 --set-mark -ret

А для отправления в класс 1:5

-t mangle -A POSTROUTING -m ndpi --bittorrent -j NDPI --value 0X1005 --set-clsf -ret

Правильно я понимаю?

И еще. Как быть если я хочу распространить метку на соединение. ТО есть сделать connmark. Ведь его надо делать до RETURN.

1 - угу

в класс 1:5

-j NDPI --value 0X10005 --set-clsf -ret

Про connmark - каждый решает сам метить или нет, есть же -j CONNMARK --save-mark

1. Ну если захочу делать connmark то ваши комбинации уже не прокатят получается? Ведь по идее должно быть так

-j MARK --set-mark 10
-j CONNMARK --save-mark
-j RETURN

2. И еще.

iptables -t mangle -A PREROUTING -m ndpi --proto ip_icmp -j NDPI --value 0x10205 --set-clsf

iptables -t mangle -A PREROUTING -m ndpi --proto ip_icmp -j CLASSIFY --set-class 1:205

CLASSIFY target: used from hooks PREROUTING, but only usable from FORWARD/OUTPUT/POSTROUTING

Это специально Вами сделано?) Если да, то почему iptables изначально не поддерживает в prerouting классификацию. Самому недавно очень этого не хватало, чтоб избавиться от маркировки трафика, и сразу отправлять его в класс.