LINUX.ORG.RU

Circular logs


0

1

Привет.
Покритикуйте механизм.
Логи пишутся в файлы вида:
- dump_log_00001.txt
- dump_log_00002.txt
...

Хочу ввести механизм круговых логов, чтобы избежать заполнения всего места на диске. Допустим пишется 10000 файлов, затем счётчик сбрасывается в 1 и пишет дальше. По завершении приложения выводить StartMarker.txt с номером «первого» файла.
Нормальная практика?

★★★★★
Ответ на: комментарий от anonymous

Ротация, это открытие новых файлов. После некоторого объема и/или прошедшего времени. Фактически, смена «активного» файла, в который сейчас пишутся данные.

vromanov ★★★
()
Ответ на: комментарий от vromanov

А у нас за теже 19 часов 3.8 гига ЗАПАКОВАННЫХ логов. Или 34 гига распакованных.

Ну, как минимум rsyslog умеет сжимать (и на моем ноуте прокачивает 4М несжатых данных в секунду).

tailgunner ★★★★★
()
Ответ на: комментарий от sdio

Да и у нас не сильно нагружен.

Он, например, еще 12K запросов к базе в секунду успевает делать.

Tasks: 195 total,   3 running, 192 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.3%us,  0.4%sy,  0.2%ni, 95.6%id,  0.3%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:  16438912k total, 15629920k used,   808992k free,   402040k buffers
Swap:        0k total,        0k used,        0k free, 13955640k cached

model name      : Intel(R) Xeon(R) CPU           E5450  @ 3.00GHz

8 ядер.
vromanov ★★★
()
Ответ на: комментарий от tailgunner

Это одна из фич, которая для нас важна. Есть и другие, которых нет у rsyslog

vromanov ★★★
()
Ответ на: комментарий от vromanov

Я не понял что ты хочешь этим сказать?

Меня интересует вопрос ТС'а и возможность использовать syslog, а не ваш сервер и ваша нагрузка, при том что syslog вы не используете. Будете использовать, приходите, жалуйтесь/хвастайтесь, а пока ваши сообщения — флуд.

sdio ★★★★★
()
Последнее исправление: sdio (всего исправлений: 1)
Ответ на: комментарий от sdio

Ты всё ещё напоминаешь, что лор торт. Заметь, ты зашёл в топик и начал всех склонять на сислог. Мне сислог не нужен и пользовать я его не буду.

UVV ★★★★★
() автор топика
Ответ на: комментарий от vromanov

А теперь я не понимаю, что ты называешь циркулярным буфером. Как я понимаю в таком буфере при добавлении новой записи удаляется самая старая из находящихся в нём записей. Как такой буфер может переполнится? Как в таком буфере могут не пропадать данные в том случае, если скорость добавления записей превышает скорость их сброса на диск?

Если сервис сохранения логов будет перезапущен, то при такой интенсивности генерации сообщений как можно быть уверенным, что несохраненные записи не были переписаны?

А если этот буфер в общей памяти будет испорчен одним из модулей? Трудно будет даже определить что его испортило.

anonymous
()
Ответ на: комментарий от vromanov

И как при этом ваше решение равномерно нагружает сервер, а logrotate нет?

Или logrotate имеет проблемы с ротацией логов, которые пишутся в сжатом виде?

anonymous
()
Ответ на: комментарий от sdio

Моё мнение такое: syslog хорош для демонов, потому как от всех служб сообщения сбрасываются в один файл. Для обычных приложений это будет перебор искать свои логи среди кучи других.

UVV ★★★★★
() автор топика
Ответ на: комментарий от UVV

Мне сислог не нужен и пользовать я его не буду.

...а любой зашедший в топик имеет право поставить это решение под сомнение.

от всех служб сообщения сбрасываются в один файл

Зависит от того, как сконфигурируешь.

tailgunner ★★★★★
()
Ответ на: комментарий от anonymous

Процесс, который пишет логи на диск вполне успевает их писать даже при максимальной нагрузке. Если вдруг не будет успевать, тогда произойдет потеря записей. Неприятно, но не смертельно. Пока сервис перезапускатеся буффер просто не успевает заполнится. Его хватате на несколько минут или больше при меньшей нагрузке. Сервис перезапускается несколько секунд.

vromanov ★★★
()
Ответ на: комментарий от anonymous

Если лог сразу пишется в сжатом виде - то проблем нет. Главное, чтобы софтина которая его пишет поддерживала переоткрытие нового файла по какому-то сигналу.

vromanov ★★★
()
Ответ на: комментарий от UVV

Хозяин барин.

как от всех служб сообщения сбрасываются в один файл

Ты действительно так думаешь?

sdio ★★★★★
()
Ответ на: комментарий от UVV

По умолчанию,

Так и я сказал, дальше проблема админа настроить что с логами делать.

Но по-скольку у вас, видимо, ситуация и требования другие, вам и выбирать.

sdio ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.