Какой графической утилитой проанализировать /var/log/messages?

man grep

man grep

tail/grep

rm

)))) Часто это лучший вариант.

графической утилитой

LibreOffice Writer

man grep.

дело в том, что количество разных типов сообщений в лог ограничено. Возможно, есть какая-нибудь утилита, которая автоматически выделяет разные типы сообщений и считает статистистику их встречаемости. Это позволило бы быстро выявить необычные сообщения или сообщения с необычными параметрами, а так же часто возникающие ошибки.

grep автоматически ничего не делает.

ну в кедах есть ksystemlog.

grep автоматически ничего не делает.

напиши скриптик.

напиши скриптик

я хочу интеллектуальный автоматизированный анализ. Чтобы программа сама выделяла типы сообщений, чтобы определяла где там параметры, чтобы анализировала статистику.

скриптиком тут не обойтись, тут нужная такая нефиговая аналитическая системы

может имели ввиду gnome-system-log ?

учитывая, что он грузит всё в память, сколько по Вашему памяти должно быть на клиентской машине для рассматриваемого случая?

я хочу интеллектуальный автоматизированный анализ. Чтобы программа сама выделяла типы сообщений, чтобы определяла где там параметры, чтобы анализировала статистику.

Это и есть grep

Это и есть grep

нет, ты немного глуповат и не понимаешь, что в grep шаблон для поиска передается из командной строки. А я считаю, что программа может самостоятельно выделять такие шаблоны непосредственно из log-файла.

logwatch и его альтернативы

Извиняюсь что вмешиваюсь,

Stave, скорее имел ввиду, внезависимости от средства, главная нагрузка всегда на мозг.

Даже с grep можно творить чудеса.

компьютер это средство автоматизации.
а то с Вашим пиететом к мозгу, считали бы до сих пор на счетах

я хочу интеллектуальный автоматизированный анализ. Чтобы программа сама выделяла типы сообщений, чтобы определяла где там параметры, чтобы анализировала статистику.

journalctl

Иначе вряд ли получится. Программе просто неоткуда угадать, где там какие поля и как их выделять и анализировать.

Программе просто неоткуда угадать

есть. Из знания, что лог разбивается на строчки, а строчки на символы и статистики, собираемой из самого файла

Здесь нужно патчить ядро, чтоб лог отдавало в структурированном формате, а не онанировать с парсингом текста c ии.

лог разбивается на строчки, а строчки на символы и статистики

lzma2

Вот поэтому Уважаемый,

Напишите программу на основе греп, создайте средство автоматизации и поделитесь, с удовольствием буду пользоваться.

Ой, даже патчить не надо, няшный линукс: http://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/commit/?id=e11...

Напишите программу

так первый шаг в научном исследовании (и в написании программ) - спросить не написал ли уже кто такую

видимо не написали)

а строчки на символы и статистики, собираемой из самого файла

А откуда он знает, на что разбивать строчки? Может оно по пробелу разделяется, а может по двоеточию, а может еще как-то.

при написании программы можно делать предположения о её работе. В этом нет ничего страшного, сделать два и более предположений заранее:

1) из стандарта на кодировки символов. Вот знает, что строчки разделяются символом с некоторым кодом.

2) что лог-файлы разделяются на строчки

Вот, к примеру, утилита wc имеет ключ --lines
т.е. программист сделал предположение, что существуют в природе строки и написал программу на основе этого предположения.

не вижу, что мешает сделать такого рода предположения в анализаторе логфайлов.

Мой поинт в том, что можно обойтись малым количеством предположений, не делая плагины для анализа сообщений конкретных программ

Вот знает, что строчки разделяются символом с некоторым кодом.

Я не про строчки говорю, а про анализ самой строчки. На что ее разбивать, чтобы узнать, кто отправил запись, когда отправил etc?

про анализ самой строчки. На что ее разбивать, чтобы узнать, кто отправил запись, когда отправил etc?

надо сравнивать строчки попарно при помощи алгоритма longest common subsequence, выделяемые образцы хранить и считать по ним статистику. Выявить связи между образцами (какой образец является подстрокой от более длинного).

Анализировать различающиеся части в строчках, содержащих одинаковые образцы, считать статистику для различающихся частей.

Вот это извращение. Ты же понимаешь, что на выходе вероятнее получить статистику вхождения второго часа вечера в логах с буквой «а», чем то что ты хочешь?

дело в том, что это не произвольные тексты, а тексты, формируемые из вполне конкретных мест в исходниках, по фиксированным шаблонам.

Поэтмоу статистика вхождений букв a там будет, но несложно выделить и более длинные последовательности

надо

Приступай.

по фиксированным шаблонам

4.2

Тексты не произвольные, а твой анализатор произвольный и никак не настроен на конкретные нужды. Если тебе нужно анализировать именно такой формат, пишется анализатор именно для него. А универсальный анализатор — это уже ИИ получается, который, увы, пока не изобретен.

ничего не 4.2 строки формируются из констант, а константы формируются компилятором из символьных литералов в исходниках. Вот эти литералы таким статистическим анализом и будут восстановлены

твой анализатор произвольный и никак не настроен на конкретные нужды.

зато я могу выделять самые частые и самые редкие шаблоны, а так же шаблоны с наибольшей и наименьшей вариабельностью переменных частей (для выявления подборов паролей)

это уже ИИ получается, который, увы, пока не изобретен.

ты ещё скажи, что не существует программ играющих в шахматы, потому что это ИИ, который пока увы не изобретён

Они не являются частью abi.

как это помешает статистическому анализу?

я хочу интеллектуальный автоматизированный анализ. Чтобы программа сама выделяла типы сообщений, чтобы определяла где там параметры, чтобы анализировала статистику.

И пусть сама сделает выводы из анализа статистики, и пусть сделает нужные изменения, и вообще пусть сама работает.

чем тебя не устроил logcheck?

Как-то так: https://en.wikipedia.org/wiki/Document_clustering

Он не нужен здесь.

Тред не читал. Навскидку вот:
*Гуглить веб-надстройки для (r)syslog(-ng)
*Kibana+logstash

Ты бы хоть yum search сделал. Вот тебе пара отличных инструментов для анализа лога:

logwatch.noarch : A log file analysis program
petit.noarch : Log analysis tool for syslog, Apache and raw log files

Ну, а графическую морду сам можешь на PyQT изваять, если тебя так вперло. Просто она, видимо, навзничь никому не упала.

Или поставь Оракл и наладь rsyslog, чтобы он в таблицы лог писал. Потом возьми SQLDeveloper (графическая тулза) и запросиками. Можешь Crystal Reports зарядить, чтобы он тебе красиво все рисовал. На сайте rsyslog пример конфига есть с немецким акцентом.

А нормальные люди не выдрючиваются и делают это на шелле грепом/авком. Что-то мне сдается, что шняга у тебя там в логах. Все 10 гигабайт.

и обязательно нужен гуи с единственной кнопкой - «сделать зае**сь».

да, я думаю можно скормить этот лог logstash или graylog2, но всеравно фильтры и правила самому нужно будет создавать. автоматически они отсортируются только по level, facility и дате.