В чем хранить логи.

systemd-journald

не годится. В существующей инфраструктуре нет systemd Хочется эдакий elasticsearch но как sqlite

Посмотри, куда умеет складывать syslog-ng. Может, найдёшь что-то подходящее.

Да в том то и проблема что все что складывает логи легаси. Я их по крону ротэйтю и хочу получить нормальную базу ELK не подходит. Нужно раз в день получать 1 файл и нужно уметь искать по нему не поднимая целого облака. Собственно задача проста. Append only хранилище и запросы. Но все превращается в сраный рэдшифт или ELK

Конечно можно их хранить в виде текста, но хочется искать побыстрее грепа.

Journal. И фильтры вкусные, без классических костылей из грепа, седа и авка.

Можно линк дать? А то при поиске я получаю дичь...

man journalctl

Можешь не благодарить.

не годится... Яж говорю логи УЖЕ в файлах

Перегони их в журнал.

Ладно... Я работаю в конторе где такое не работает - есть файлы- живи.... Условия граничные такие.

Ну и складывай в sqlite та й не парься.

А вообще-то ClickHouse.

Только это инфраструктура. Кликхаус уже 2 слоя внизу leveldb

Просто ты хочешь странного. Смирись и юзай CH.

Структурированные логи и любая БД на твой вкус.

Если компания не дает улучшить инфраструктуру, что профитно в первую очередь самой компании — беги оттуда.

Хочется эдакий elasticsearch но как sqlite

Как ты это себе представляешь? Если логи можно распарсить и положить в таблицу с жестко заданной схемой, то так и надо делать: я бы скриптик написал, если не могешь, то импорти файлы через syslog-ng или logstash какой-нибудь. А если структуры нет, то тут только полнотекстовый поиск - elasticsearch пригодится, а sqlite нет

lnav

https://github.com/flant/loghouse

https://www.elastic.co/elk-stack

Эталонное ненужно.