LINUX.ORG.RU

Мониторинг логов и выделение паттернов сообщений

 , , ,


1

2

Приветствую!

Собираюсь централизованно мониторить логи с группы серверов. Это логи операционной системы, служб и веб приложения. В данный момент использую logstash -> elasticsearch -> kibana. Эта связка позволяет привести различные логи к едионму формату, отображать их в реальном времени, искать, фильтровать и т.п.

Интересует наличие ПО, способного выделить паттерны сообщений и вести статистику по кол-ву вхождений. Цель: ответить на вопрос «таких-то ошибок за час стало на х% больше», «такое сообщение встречалось х раз на у серверах».

Нечто подобное я видел в презентации на слайде №12, но так и не понял, какой компонент за это отвечает. Похоже, что кастомная логика.

Вопрос: чем можно реализовать задуманное?


Интересует наличие ПО, способного выделить паттерны сообщений и вести статистику по кол-ву вхождений.

splunk. офигенная вешь, но

а) всё это выдаётся на ручной запрос. Это не система мониторинга которая тебе будет слать события

б) дорого. Я так и не убедил начальство на покупку лицении, так что пришлось удалить после триального периода

router ★★★★★
()
Ответ на: комментарий от l0stparadise

Kibana умеет показывать статистику по заданным паттернам, например нарисовать диаграмму по кодам ответа веб-сервера (т.к. знает, в каком поле лога лежит цифра, которую проанализировать).

Новых событий она не выделит, они останутся в общей куче.

Моя цель - оперативно находить новые проблемы в куче логов.

vo-one
() автор топика
Ответ на: комментарий от sdio

Посмотри триал splunk, не пожалеешь ;) Я уже пару раз разворачивал виртуалку с нуля чтобы, пока не кончится триал, загнать в неё текущие логи и посмотреть что происходит

router ★★★★★
()
Ответ на: комментарий от router

perl

Ему можно посвятить жизнь! От меня хотят «быстро и бесплатно».

splunk это серьезный комбайн,да. Недавно нашел loggly, хочу опробовать.

vo-one
() автор топика

Цель: ответить на вопрос «таких-то ошибок за час стало на х% больше», «такое сообщение встречалось х раз на у серверах».

Напиши обработчик логов и проверяй их хоть zabbix'ом. Например, «таких-то ошибок за час стало» - настрой ротацию логов на час (полчаса), после ротации обрабатывая скриптом, как например - тупо кол-во строк с определенным вхождением, тут хоть grepом. Потом сравнить с предыдущим результатом, увеличить и в дашборд. Это если нужно «быстро и бесплатно».

alozovskoy ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.