Нужно все файлы анализировать на изменение

incron

затем в выборке новых значений в выбранных файлах.

Если там не гигабайты, я бы каждый раз лог-файл копировал во временный, а оригинал обнулял. А анализировал потом уже временный.

incron как вариант. Найти файлы измененные за последние 15 минут можно несколькими вариантами.

А вот обнулить никак нельзя к сожалению. Логом не только я пользуюсь. Вернее совсем не я. Я хочу с помощью него упростить параллельную задачу. Можно конечно как вариант копировать все файлы и через 15 минут сравнивать измененные. Но мне кажется это не самый правильный вариант.

Конечно, писать структурированные логи сразу это для слабаков.

к чему данное сообщение??? Логи пишут удаленные железки. Изменить порядок записи на которых невозможно. Только вкл/выкл логирование.

А вот обнулить никак нельзя к сожалению.

если у тебя софт пишущий в лог не закрывает файл то все печально, и надо ковырять софт

если закрывает и автоматом создает новый если старый утащить, то можно просто каждые 15 минут преименовывать старый файл

Найди фрилансера, который сделает простую тулзу, которая запоминает список файлов и их размеры, а при следующем запуске перелопачивает новые файлы а так же логи с изменившимся относительно прошлого раза размером, при этом такие файлы обрабатываются, начиная с «предыдущего размера».

Гуглить такую тривиальщину — себя не уважать.

к сожалению не софт, а железо. Заковырять не получится. Трогать файл нельзя, т.к. его еще используют.

найти файлы не проблема. Проблема как достать именно нужные строки, записанные в 15-ти минутный интервал.

Я что-то не понял про 15 минут. Если тебе несколько логов в 1 слить надо то возьми тот же rsyslog

Железки по какому протоколу общаются с сервером? Если Syslog, то советую: http://www.fluentd.org/ В нём и распарсишь, и выведешь как тебе надо. (Ввод, кстати, сислогом не ограничен)

Инструкция

Для каждого лога:
1. Запоминаешь длину лога

length=$(cat log.log | wc -l)

cat log.log | sed -n $length,$length_new\p >> temp.log

man sort

cat temp.log >> true.log

length=$length_new

я 5 лет назад накостылил методу, что у меня отдельно хранилась «предыдущая копия лога», я её сравнивал методом:

# определяем является ли новый файл = старый + новые сообщения
# просто сравниваем первые строки
S1=$( head -n 1 $NEWLOGFILE);
S2=$( head -n 1 $OLDLOGFILE);

if [ "${S1}" != "${S2}" ]
then
  echo "LOGFILE WAS ROTATED"
# новый лог не кумулятивный
else.
  oldsize=$(stat -c "%s" $OLDLOGFILE)
  tail -c +$(( $oldsize + 1 ))  $NEWLOGFILE > $DELTA;
fi 

Доброй ночи. Появились идеи по реализации. Сможет кто подсказать, что перевести время в каждой строчке в timestamp пример лога: 2015-09-08 23:06:00 xy1 20002020 — backup error |Charging meters |

~ $ echo '2015-09-08 23:06:00 xy1 20002020  — backup error |Charging meters |' |
> { read A B C ; date -d "${A} ${B}" +%s ; }
1441742760

если у тебя 'date' из GNU coreutils.

Поставь fluentd и не ломай себе мозги. Он умеет парсить timestamp'ы всех популярных форматов. А если надо - напишешь regexp.