elasticsearch. filebeat разбор нестрандартных логов.

Не совсем понятно, кто то тебя заставляет использовать готовые шаблоны для логсташа? Возьми и напиши свой. Если хочеш чтобы тебе написали твой шаблон, то пример логов на пастебин.

Посмотрите в сторону grok. Если ваши логи можно описать шаблонами, конечно.

Про grok уже сказали, единственное что хочется заметить - если будете парсить регулярками большой объем данных логстэш будет жрать ресурсы как не в себя. В моем случае оказалось проще логи nginx нормализовать и писать вообще json'ом.

пример шаблона может кто-то привести? дальше я сам разберусь как. искал в сети - одна чепуха выходит вместо полезного.

Плохо искали, вот например https://www.elastic.co/blog/do-you-grok-grok

Вот пример оттуда если вы прям Ъ

220.181.108.96 - - [13/Jun/2015:21:14:28 +0000] "GET /blog/geekery/xvfb-firefox.html HTTP/1.1" 200 10975 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}

а как быть если мне нужны все common форматы и плюс мой лог nginx своеобразный?

в примере ниже данные просто задваиваются на выходе

input { stdin { } }

filter {

grok { match => { «message» => «%{COMBINEDAPACHELOG}» } }

grok { match => { «message» => «%{COMBINEDAPACHELOG}» } }

date { match => [ «timestamp» , «dd/MMM/yyyy:HH:mm:ss Z» ] }

}

output { elasticsearch { hosts => [«localhost:9200»] } stdout { codec => rubydebug } }

то есть я хочу скзаать что filebeat будет мне сливать вообще все логи, а я задаю grok у только то что мне нужно, как быть с остальным?

+ где то в логах можно найти записи которые logstash не смог распарсить?

а как быть если мне нужны все common форматы

Правильный вариант это добавить на стороне filebeat какое-нибудь служебное поле, которое будет отображать «тип» лога, и потом в logstash проверять это поле и запускать нужный grok-фильтр или какие-то другие обработчики. Смотрите в сторону директивы field у filebeat. Иначе ваше сообщение будет прогоняться через все фильтры, спамить ошибками и вообще давать лишнюю нагрузку.

Если вы не знаете лог в каком формате придет - ну используйте все фильтры, логстеш прекратит обработку после того как успешно распарсит сообщение, просто вы зря будете расходовать ресурсы.

и плюс мой лог nginx своеобразный?

Так вы и описываете свой лог регулярками для grok, он не заставляет вас использовать какие-то «предустановленные» форматы. Пример я в предыдущем сообщении привел.

я задаю grok у только то что мне нужно, как быть с остальным?

У вас приходит сообщение с полем message, в котором хранится строка из лога. В случае grok вы говорите как распарсить эту строку и какие данные в результате в какие поля записать. Дальше вы работаете уже с этими полями, которые наполнил grok, само сообщение вам не нужно - можно либо просто оставить его, либо в логстеше удалить (в том же grok remove_filed => "message")

+ где то в логах можно найти записи которые logstash не смог распарсить?

Ну да, в логах логстеша, /var/log/logstash или как там у вас сконфигурировано. Но мне например с этим логом работать не удобно - проще написать конфиг, запустить logstash в режиме не-демона и по одному пихать ему сообщения и проверять как работает. Потому что потом из лога доставать это та еще задача. Ну и можно тестировать grok-фильры например в http://grokdebug.herokuapp.com/ .