LINUX.ORG.RU
ФорумAdmin

Подскажите сборщик логов

 , , ,


0

1

Привет!

Подскажите, пожалуйста, систему сборки логов (доставку с удаленных хостов на «центральный» сервер), которая бы гарантировала доствку событий и нормально мониторилась. Так ли хорош популярный logstash?

Сейчас использую rsyslog, довольно часто возникают какие-то рандомные проблемы - логи не отправляются или не принимаются, теряются некоторые сообщения и т.п. Замониторить это или как-то отлаживать мне кажется вообще невозможным, а запас костылей уже подходит к концу.

Интересует в первую очередь система доставки логов, парсинг, вебморда и «отчеты» на втором месте, но хотелось бы также иметь возможность получить «сырой» лог в том виде, в котором он есть на хосте. ОС - онтопик.

Буду признателен за советы и комментарии.

★★★★★

Ответ на: комментарий от Radjah

Нет, по причине того что используется много хостов с версиями ОС, в которые systemd еще не завезли. А вообще, он сильно лучше rsyslog в плане контроля доставки событий?

alozovskoy ★★★★★
() автор топика
Ответ на: комментарий от alozovskoy

Хрен его знает, но по крайней мере есть средства по принудительному заталкиванию логов на удалённый сервер.

Radjah ★★★★★
()
Ответ на: комментарий от Vasily22

На сколько я понимаю syslog-ng и rsyslog это одного поля ягоды. Не было возможности сравнить их?

alozovskoy ★★★★★
() автор топика
Ответ на: комментарий от alozovskoy

Пробовал tcp, udp и relp - во всех трех случаях возникают потери и проблемы.

Вангую дело не в rsyslog'е, а в кривых руках. Попробуй syslog-ng.

Анализатор - любой, логи ему пихать лучше не с диска, а релеем с того же syslog'а (тот пишет архив логов на диск И отсылает копию анализатору).

anonymous
()
Ответ на: комментарий от alozovskoy

Может у тебя принимающая сторона не справляется? Вкорячить какой-нибудь сервер очередей, чтобы в пиках сообщения не терялись.

Для logstash'а есть посылалка логов от тойже конторы, filebeat, но хз как у нее с производительностью.

Deleted
()
Ответ на: комментарий от Deleted

Может и не справляется, но задетектить я этого не могу - по системным мониторингам все в норме (cpu, диск, рама - запас везде есть), в логах каких-то сообщений о дропе пакетов или о чем-то подобном не нахожу, а дебаг rsyslog'а валит тонны информации на каждый чих, просто нереально что-то там найти (проблема плавающая же). По идее relp-протокол должен гарантировать доставку сообщений и нормальное сохранение их на принимающей стороне (с повторной отправкой в случае проблем), но почему-то не работает.

Сервер очередей, боюсь, не так просто будет сделать, по крайней мере на данный момент ничего подобного для rsyslog не видел. Но в целом идея хорошая, спасибо, посмотрю и в эту сторону. Жаль только что никак не получится в таком случае организовать проверки доставки событий с повторной пересылкой в случае проблем.

Logstash сам (на сколько я понял) является посылалкой логов, но про filebeat не слышал, почитаю, спасибо!

alozovskoy ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Анализатор меня не особо интересует.

Хотелось бы какие-то истории успеха с syslog-ng в сравнении с rsyslog узнать, потому что на то чтоб попробовать уйдет довольно много времени.

alozovskoy ★★★★★
() автор топика
Ответ на: комментарий от alozovskoy

Logstash агрегирует, нормализирует и/или фильтрует и шлет это все куда уже надо, в бд/лог/эластик. Его конечно можно использовать для отправки, но т.к. он написан на жабе, выходит как-то жирновато.

Deleted
()
Ответ на: комментарий от alozovskoy

Сервер очередей, боюсь, не так просто будет сделать,

У syslog-ng это есть.

AS ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.