Нужен вывод только уникалных строк из инпута

Потому что сначала надо сортировать, а потом отбрасывать повторения.

я хочу чтобы это происходило прямо на ходу, а не сначала создавать многогигабайтный файл tcpdumpa, а уже потом его обрабатывать. По какому признаку можно отсортировать тогда?

Как ты себе представляешь сортировку потока?

вот в том и дело, что никак. А фаил tcpdumpa создавать за сутки это никакого места на винте не хватит.

[/perl]

D'oh!

Я не в курсе спец инструментов, но видимо придется велосипедить. Что-то вроде: сохраняем вывод в файл, когда он становится больше, скажем 1 Гб, файл закрываем и начинаем писать в новый. А старый сортируем с удалением повторов вкупе с уже имеющимся протоколом с удаленными повторениями.

твоя ошибка в попытке получить сразу точный ответ.

создавай маленькие(за 1-2 минуты) дампы, получай из них уникальные апишники, и результат добавляй не сортируя в датабазу. следующая сортировка только при просмотре.

http://pastebin.com/6Z7sdgrZ
Туда же можно добавить всё что хочешь: расчленение вывода, вырезание ip и прочее гуро.

если я это уже 1 раз видел хоть когда нибудь, то я это впредь игнорирую (то есть не вывожу больше в аутпут)»?

Смотреть перед печатью есть ли в хэше IP если нет, то загонять IP в хеш и печатать IP в stdout

пусть нужный IP идет седьмым полем в выводе tcpdump'a, тогда
tcpdump ... | awk 'hash[$7] == 0 {hash[$7]=1; print $7}'

http://pastebin.com/27x9x79D Вот немного расширенный вариант. Осталось только регулярочку поменять с просто число на ip.

Есть возможность вмешаться в iptables? Может удобнее будет попробовать сделать отдельную цепочку для регистрации ip адресов по нужным критериям через

iptables -m recent --set

cat /proc/net/xt_recent/имя