Посоветуйте парсер log почты Postfix в базу

при учете что вы пишите " если что сам напишу."
bash, grep, sed, awk вобшем_что_больше_по_вкусу, работы то совсем немного. к сэндмылу я такое прифигачивал.

Пиши сам, нет такого.

Если ничего готового нет то второй вопрос есть ли возможность заносить в лог файл тему письма?

Вроде нет, я в свое время делал парсер почты который принимал через адрес в always_bcc и заносил в базу параметры писем.

при учете что вы пишите " если что сам напишу."

Тогда второй вопрос можно ли как-то заставить писать в лог тему письма?

http://davidsj.co.uk/blog/log-subject-lines-in-postfix/

Следующий сеанс гугления будет платным.

Следующий сеанс гугления будет платным.

Огромное спасибо, реально не мог найти.

Инфа о письме размазана по логу. В частности, from и to в разных строках находятся. Нужно парсить по ID очереди.

#!/usr/bin/perl

my %ids;

open LOGF, '/var/log/mail.log';

while (defined (my $line = <LOGF>)) {
	if ($line =~ /postfix\/(?:smtp|qmgr)\[[^\s]+(?:\s\[[^\]]*\])?\s(?<id>[0-9a-f]+):\s(?:(?<removed>r)emoved|from=<(?<from>[^>]+\@[^>]+)>|to=<(?<to>[^>]+\@[^>]+)>,\srelay=[^\[,]+\[(?<relay>[\d.]+)\][^\(]+status=sent)/i) {
		if (defined $+{removed}) {
			delete $ids{$+{id}};

		} elsif (defined $+{from}) {
			$ids{$+{id}} = $+{from};

		} elsif (defined $ids{$+{id}}) {
        		# from, to, relay
        		print ($ids{$+{id}}, lc($+{to}), $+{relay});

		}
	}
}

close LOGF;

- это выдрано из postpals-taillog (http://mailfud.org/postpals/), см. sub _parse_logline и переделано под себя.

/usr/bin/perl

Ну Вы бы еще «танк» в виде php посоветовали.

Это понятно что инфа размазана, но вот есть вопрос по поводу ID Вот строка лога

May  7 17:10:03 mail postfix/cleanup[10223]: 56820C81F03: message-id=<63E2937A2AC844A18BA6BBC1D0C069FD@dom.com>

Есть у нас письмо у него два ID первый ID очереди 56820C81F03 второй message-id 63E2937A2AC844A18BA6BBC1D0C069FD

Я правильно понимаю что анализировать нужно оба ID потому что инфа по ID 56820C81F03 заканчивается вот такой строкой

status=sent (250 2.0.0 from MTA(smtp:[127.0.0.1]:10025): 250 2.0.0 Ok: queued as 98448C821A6)
May  7 17:10:03 mail postfix/qmgr[8942]: 56820C81F03: removed

И дальше обработка этого же письма уже идет под ID 98448C821A6 и уже эта обработка заканчивается строкой

May  7 17:10:03 mail postfix/pipe[10231]: 98448C821A6: to=<user@mydom.com>, relay=dovecot, delay=0.32, delays=0.04/0.01/0/0.27, dsn=2.0.0, status=sent (delivered via dovecot service)
May  7 17:10:03 mail postfix/qmgr[8942]: 98448C821A6: removed

И еще вопрос из того что нашел в сети пишут что ID очереди формируется так что его повторение возможно только раз в несколько лет в зависимости от нагрузки на сервер, это так? Другими словами если будет анализироваться лог скажем за месяц можно ли использовать ID очереди как ключ и быть уверенным что он не повторится?

И еще может быть случайно у кого-то завалялся пример hook скрипта для Postfix в идеале на php? Просто из того что нашел в инете ничего пока что не заработало. Или кто то посоветует как правильно подключить? На данный момент сделал так в файл master.cf в самый конец добавил

myhook unix - n n - - pipe
  flags=F user=root argv=/etc/postfix/myhook.php ${sender} ${size} ${recipient}

smtp      inet  n       -       -       -       -       smtpd
postscreen
submission inet n       -       -       -       -       smtpd
  -o content_filter=myhook:dummy
  -o syslog_name=postfix/submission
  -o smtpd_tls_wrappermode=no
...

А чем logwatch не устраивает?

Да он не то что бы не устраивает просто я о таком не слышал спасибо почитаю. Но из того что увидел он просто грубо-говоря выкидывает из лога все лишнее и группирует, а душа просит базу данных с хранением как минимум за год и быстрым поиском.

Это понятно что инфа размазана, но вот есть вопрос по поводу ID

Приведите весь кусок лога - от первой строки с искомым ID, до последней. У меня в строке со «status sent» содержится вся необходимая инфа.

postfix умеет в syslog. rsyslog умеет писать логи в sql. в качестве вебморды можно использовать phplogcon.

Тогда попробуй еще pflogsumm. Тоже хороший парсер логов для Postfix.

Ну Вы бы еще «танк» в виде php посоветовали.

Поколение пепси не в курсе, как расшиыровывается perl, и для чего этот язык предназначен ? В данном случае - перл, как раз, оптимальный инструмент

Сори, не дочитал до конца твое сообщение)

Поколение пепси как раз в курсе и даже в курсе в чем он связан с php. Но когда есть инструменты позволяющие выполнять задачу быстрее (а если сервак высоко нагружен логи там должны быть ой как не маленькие) то логичнее использовать их.
ЗЫ Не совсем в тему, но... Когда-то давно сел я писать на перле парсер логов сквида с записью в БД, вроде задача вообще простая, но не взлетело, логи росли быстрее. Причина была не в парсинге текста а в модуле работы с БД, был он ну очень тормозной да и машинки не те что сейчас.

трэд не читал. Можно слепить Logstash + Kibana + Elasticsearch.

Если мне память не изменяет, logstash имеет готовые правила для postfix'a

Приведите весь кусок лога - от первой строки с искомым ID, до последней

Вот вырезка двух кусков лога

cat ./mail.log |grep 20160508142401.DFADC2069AF86
May  8 17:24:04 mail postfix/cleanup[10733]: E5975C8097A: message-id=<20160508142401.DFADC2069AF86@smtp11.professionali.ru>
May  8 17:24:08 mail postfix/cleanup[10733]: 67EF2C821AC: message-id=<20160508142401.DFADC2069AF86@smtp11.professionali.ru>

/var/log$ cat ./mail.log |grep E5975C8097A
May  8 17:24:04 mail postfix/smtpd[10730]: E5975C8097A: client=fallback8.mail.ru[94.100.181.110]
May  8 17:24:04 mail postgrey[1350]: E5975C8097A: action=pass, reason=client AWL, client_name=fallback8.mail.ru, client_address=94.100.181.110, sender=info5-noreply@professionali.ru, recipient=inetuser@mydom.com
May  8 17:24:04 mail postfix/cleanup[10733]: E5975C8097A: warning: header Subject:  =?UTF-8?B?W9Ch0LzQtdC70L7RgdGC0Ywg0LHRi9GC0Ywg?=? =?UTF-8?B?0LHQvtCz0LDRgtGL0Lwg0Lgg0YHRh9Cw0YHRgg==?=? =?UTF-8?B?0LvQuNCy0YvQvCAyLjBdINCa0L7Qs9C0?=? =?UTF-8?B?0LAg0JXQs9C+0YAg0L3QsNC/0LjRgdC from fallback8.mail.ru[94.100.181.110]; from=<info5-noreply@professionali.ru> to=<inetuser@mydom.com> proto=ESMTP helo=<fallback8.mail.ru>
May  8 17:24:04 mail postfix/cleanup[10733]: E5975C8097A: message-id=<20160508142401.DFADC2069AF86@smtp11.professionali.ru>
May  8 17:24:05 mail postfix/qmgr[10387]: E5975C8097A: from=<info5-noreply@professionali.ru>, size=175557, nrcpt=1 (queue active)
May  8 17:24:08 mail postfix/smtp[10734]: E5975C8097A: to=<luser@mydom.com>, orig_to=<inetuser@mydom.com>, relay=127.0.0.1[127.0.0.1]:10024, delay=3.8, delays=0.46/0.02/0.03/3.3, dsn=2.0.0, status=sent (250 2.0.0 from MTA(smtp:[127.0.0.1]:10025): 250 2.0.0 Ok: queued as 67EF2C821AC)
May  8 17:24:08 mail postfix/qmgr[10387]: E5975C8097A: removed

cat ./mail.log |grep 67EF2C821AC
May  8 17:24:08 mail postfix/smtpd[10738]: 67EF2C821AC: client=localhost[127.0.0.1]
May  8 17:24:08 mail postfix/cleanup[10733]: 67EF2C821AC: message-id=<20160508142401.DFADC2069AF86@smtp11.professionali.ru>
May  8 17:24:08 mail postfix/qmgr[10387]: 67EF2C821AC: from=<info5-noreply@professionali.ru>, size=176146, nrcpt=1 (queue active)
May  8 17:24:08 mail postfix/smtp[10734]: E5975C8097A: to=<luser@mydom.com>, orig_to=<inetuser@mydom.com>, relay=127.0.0.1[127.0.0.1]:10024, delay=3.8, delays=0.46/0.02/0.03/3.3, dsn=2.0.0, status=sent (250 2.0.0 from MTA(smtp:[127.0.0.1]:10025): 250 2.0.0 Ok: queued as 67EF2C821AC)
May  8 17:24:08 mail postfix/pipe[10739]: 67EF2C821AC: to=<luser@mydom.com>, relay=dovecot, delay=0.19, delays=0.05/0/0/0.13, dsn=2.0.0, status=sent (delivered via dovecot service)
May  8 17:24:08 mail postfix/qmgr[10387]: 67EF2C821AC: removed

И еще вопрос при работе Greylisting какой будет ID письма при повторной отправке?

Если мне память не изменяет, logstash имеет готовые правила для postfix'a

Не имеет. На github можно найти готовые наборы паттернов, которые люди писали для себя, но всё это настолько кривое, что проще еще раз написать самому.

Но вообще поддерживаю предложение ELK stack. Оно сгодится для всех мыслимых и немыслимых логов, в том числе и для postfix.

logstash имеет готовые правила для postfix'a

Спасибо.

Интересная штука, как минимум на ней можно готовить лог для заливки в БД

Ну и чем вас не устраивает /var/log$ cat ./mail.log |grep E5975C8097A? Вся инфа в нем есть, скриптом она ловится. 67EF2C821AC к этой информации ничего не добавляет. Проблема только в том, что из-за фильтра на 10024 порту в результатах работы скрипта на входящих все будет двоиться, но это ерунда, дедупликация тривиально делается.