Напишите мне bash скрипт за деньги UPD

которого нет в логе, хочу записывать ip в txt файл

Лог и txt файл - это разные файлы? А то вдруг разные.

Ты собрался в тот же лог и писать результат?

sed -e 's#.* SRC=\([^ ]*\) .*#\1#' < log.log | sort -u > ips.txt

Платить сюда -> bitcoin:bc1qxh5zuv9zk2g6h4xunrmulnygfp36wksefsxh7p

Как я могу в логе найти IP адрес, которого нет в логе?

Значит есть ещё один файл со списком IP адресов, которые нужно искать в логе и если их нет - записывать в txt файл.

В общем, задача поставлена не корректно.

Пойду сменю кофейную гущу.

Это разные файлы

нет. Файлы разные.

awk '/SRC/{print $11}' log.txt | sed -e 's/SRC=//' | sort -u >> вывод.txt

PS: Меня уже кто-то опередил

Наверное тебе нужно не просто записывать IP в файл, но ещё и как-то обрабатывать это событие после этого. Если это событие, то его надо передавать куда-то. Для передачи событий используется DBUS, а программу лучше всего сделать демоном для systemd на C++ или Rust.

Ну и читать, наверное, лучше не из лога, а получать события из ядра.

Для передачи событий используется DBUS, а программу лучше всего сделать демоном для systemd на C++ или Rust

tee с именованным пайпом уже не модно? Понимаю))

Это находит все ip. Я немного изменил первое сообщение. Не подумал, что нужно найденное с чем-то сравнивать.

А кто этот лог записывает? Это мне нужно для того, чтобы понять, как туда засунуть tee.

Не подумал, что нужно найденное с чем-то сравнивать.

А зачем с чем-то сравнивать? Или я не правильно понимаю задачу или тут не было правильного ответа: никакое сравнение не надо и всякие sort -u не помогут. Надо демон, читающий из tail, запоминающий в ассоциативный массив полученные IP, если он новый - то вывод его. Всё. Делов на 5 минут. Ну да, можно далее извращаться: при получении сигнала сбрасывать весь массив, а потом его всасывать при новом старте и тому подобное.

iptables маркирует, складывает в файл я так понимаю syslog

демон, читающий из tail, запоминающий в ассоциативный массив полученные IP, если он новый - то вывод его.

А это на bash полетит?

А это на bash полетит?

Я про него и говорил.

складывает в файл я так понимаю syslog

Ну может он умеет и в DBUS сразу?

https://habr.com/ru/post/259169/
http://www.opennet.ru/docs/RUS/iptables/#LOGTARGET

«действие ULOG позволяет выполнять запись журналируемой информации не в системный журнал, а в базу данных MySQL и т.п..»

«При использовании этого действия, пакет, через сокеты netlink, передается специальному демону который может выполнять очень детальное журналирование в различных форматах (обычный текстовый файл, база данных MySQL и пр.) и к тому же поддерживает возможность добавления надстроек (плагинов) для формирования различных выходных форматов и обработки сетевых протоколов.»

https://www.netfilter.org/projects/ulogd/index.html

«ulogd is a userspace logging daemon for netfilter/iptables related logging.»

Не подумал, что нужно найденное с чем-то сравнивать.

Я писал недавно что-то подобное, но это всё не правильно. Правильно девопсы выше говорят про tail

Это неправильные девопсы.

Потому что они используют диск там, где это не нужно. А диск - это малоскоростное устройство.

сколько будет стоить реализация?

выбблин, хотя бы написали под какой дистрибутив

Ubuntu 16, 18, 20

сколько будет стоить реализация?

Я не пишу за деньги, тем более такую фигню, попробуйте сами, тут ничего сложного, поправлю где будет затык.

Необычный подход.

Согласен, честь в бизнесе не в почёте.

А что вы собираетесь дальше делать с этими новыми IP-адресами? Наверное вам нужны уведомления об этих новых клиентах? В каком виде вы его хотите, на телефон, в десктопное приложение, или через сайт?

Я к тому спрашиваю, что Вы хотите наладить непрерывный процесс. Мне не ясно - зачем. Ведь для анализа можно периодически выбирать адреса регулярками и затем при помощи uniq отбирать разные. А затем руками по статистике apache смотреть куда ходили, сколько раз, какими путями по сайту. Т.е. анализ будет выполняться сотрудником с какой-то периодичностью, вот и всё.

Я, видимо к сожалению, не программист и уж тем более не программный архитектор.

То есть я не могу сразу написать как и что будет дальше, решил начать с получения новых ip, и сразу словил непреодолимое препятствие)

Возможно, это вообще дурацкая затея, но не попробуешь не узнаешь.

Я, видимо к сожалению, не программист и уж тем более не программный архитектор.

Ну и отлично, Вы, значит, бизнес-человек, и значит должны как раз хорошо разбираться в бизнес-задачах. Я прошу как раз рассказать, чего вы пытаетесь добиться.

Чтобы мы могли вам сразу решение целевой задачи предложить.

В данный момент я хочу узнавать как часто появляются(и появляются ли вообще) в логе новые ip.

Что потом с этой информацией делать пока не решил, возможно, этой информации и не будет вовсе.

В том-то и дело, что никакой задачи пока нет.

Тогда один раз посмотри это по уже существующему логу командами, которые тебе написали выше, и получишь твои новые знания.

Ну тоже вариант. Думал уйти от ручного труда.

А файл с логами большой? И с айпишниками? Можно их в память совать целиком? Или допускатся дрочка чтения по кусочку и сброса на диск по кусочку? Допустимо ли хратьнить в /var/tmp типа конфигурацию в виде времени последнего изменения и смещение по фалу лога что-бы его целиком не сканировать каждый раз и сохранять состояние после возможной перезагрузки, как часто нужно проверять файл раз в секунду или раз в час.

файл лога (в данный момент) 30781 строк

ip (в данный момент) 40 штук

про память - а возможно занятие всей памяти если файл будет сильно большой?

хранить допустимо

проверка пока раз в час

Думал уйти от ручного труда.

Но труд не будет ручным.
ты будешь использовать утилиты, работающие с регулярными выражениями, утилиты сортировки, утилиты подсчёта количества.

Если тебе надо что-то понять один раз - этого достаточно.

это малые объёмы, и в память всё влезет

tail по логам это тупизна в 21веке, syslog сам отлично запускает скрипты по фильтрам, копайте эту тему action(type=«omprog»)

while read s; do
    eval $(echo $s | grep -Po "\s(\w+=[\w+\.]+)")
    echo $SRC, $DST, $PROTO, $TTL
done

Если другого варианта не будет, то конечно я так и сделаю.