Централизованный сервер логов

можно рассмотреть Grafana Loki

syslog, grep и вот это все.

Хотелось бы что-то попроще, полегче.

Rsyslogd! Куда уж проще и легче.

Graylog это же про log management, это не только и не столько про сбор и хранение.

Не надо использовать Redis для хранения. Он для этого не предназначен.

А по теме - syslog'ом собирать всё в едином месте, а там уже анализировать чем угодно.

syslog-ng. Писть может как в файл, по обычному, так и во всякое разное. Вагон планинов.

Объем логов какой?

Сколько серверов?

Как долго собираешься хранить?

Откуда эти логи берешь (syslog, systemd-journal, docker?)

Как ты собираешься работать с сохраненными логами?

Насколько я понял, GELF – это довольно устоявшийся стандарт для передачи логов по сети

Да похрену какой формат на самом деле. Формат ты можешь сам задать исходя из того, как с этими логами собираешься в дальнейшем взаимодействовать.

Логи в редис, но зачем?

Сислог же.

Логировать хочу не каждый сервер по отдельности, а кучу мелких сервисов. Например, у меня есть сервис для отправки коротких сообщений, хочу при каждой отправке логировать со статусом INFO «отправитель отправил сообщение получателю», если произошла ошибка при отправке, логировать текст ошибки со статусом ERROR. Если ошибка не критическая и сообщение отправилось со второй попытки, логировать предупреждение со статусом WARNING.

А дальше что будешь делать с этой информацией? Просто такие вещи строятся от конечного пользователя. Например если на ошибки надо реагировать, то это одно и тебе нужно точно знать какой сервер и какой сервис (то же с разбором полетов), а если тебе данные нужны для аналитики с хитрыми запросами, то совершенно другое.

Если количество сообщений небольшое (меньше тысячи в секунду), то можешь забирать логи из docker socket’а или systemd-journal (ты не написал как запускаешь сервисы) - там будет вся нужная тебе метаинформация (хост, название сервиса/имя контейнера, errorlevel)

Забирать эту информацию проще всего через vector, но если не понравится, то есть fluentbit или fluentd.

Как базу для хранения проще всего использовать loki (или складывать в какой-нибудь clickhouse если нужны именно метрики)

Доступ к loki через grafana или консольный logcli.

Если хочется большей гибкости со сложным поиском, то вместо loki придется поднимать elastic c мордой в виде kibana или graylog.

Я просто хочу какой-нибудь простой интерфейс для просмотра этих логов. Думаю, loki меня вполне устроит, потому что вряд ли будет больше десятка запросов в секунду в любой день, гибкий поиск мне тоже особо не нужен, достаточно пары фильтров.