мониторинг на остановку прихода файлов....?

1

1

приветствую!
есть система, в которой есть каталог /data, и под ним некоторые подкаталоги - /data/ecm, /data/rvs, /data/zli, итдп.

во все эти каталоги достаточно регулярно валятся файлы - идёт распределение и обработка.

возможно ли написать скрипт на баше, который будет караулить файлы, и скажем, если в последние десять минут с текущего момента ниодного свежего файла не появилось в дефинированных каталогах - будет отправлять мне письмо с сабджектом " шеф, всё пропало!" (ц)?

искал в гугле чтото такое, ненашёл ни одного решения такой проблемы...
mail -s «kaput» часть я сам наваяю, мне бы механизм который проверяет нет ли свежих фацлов в каталогах за х минут, и если их нет - то выполнение команды....

спасибо заранее....

Ссылка

←	В Openfire нет возможности голосового общения

Диаграмма потоков данных. Общий вопрос.

→

← 1 2 →

man inotifywatch
man mail

joy4eg ★★★★★
(02.11.17 09:57:19 MSK)

Ссылка

find .. -newer timestamp.file

touch timestamp.file

P.S. inotify здесь не нужен

futurama ★★★★★
(02.11.17 09:58:07 MSK)

man incron

dhameoelin ★★★★★
(02.11.17 09:58:31 MSK)

Ссылка

Ответ на: комментарий от futurama 02.11.17 09:58:07 MSK

Аргументируй ненужность inotify

dhameoelin ★★★★★
(02.11.17 09:59:21 MSK)

while true ; do
	if ! find "$DATA_PATH" -type f -mmin -10 | grep -q . ; then
		echo "шеф, всё пропало!"
		sleep 10m
	fi
	sleep 2m
done

Deleted
(02.11.17 09:59:22 MSK)
Последнее исправление: Deleted 02.11.17 09:59:58 MSK (всего исправлений: 1)

Ответ на: комментарий от futurama 02.11.17 09:58:07 MSK

Deleted
(02.11.17 10:00:27 MSK)

Ссылка

Ответ на: комментарий от dhameoelin 02.11.17 09:59:21 MSK

Аргументируй ненужность inotify

man find

Deleted
(02.11.17 10:00:38 MSK)

Ссылка

Ответ на: комментарий от dhameoelin 02.11.17 09:59:21 MSK

У дидов не было, неча и начинать. СистемГ!

anonymous
(02.11.17 10:01:03 MSK)

Ссылка

Ответ на: комментарий от dhameoelin 02.11.17 09:59:21 MSK

ему нужно отслеживать не приход файлов, а их отсутствие в период времени, т.е. все-равно придется как-то замерять интервал времени.

futurama ★★★★★
(02.11.17 10:01:07 MSK)

Ответ на: комментарий от futurama 02.11.17 10:01:07 MSK

Постоянно считать время, по событию от notify сбрасывать отсчёт. В твоём варианте всё равно придётся дёргать проверку по таймеру в цикле.

anonymous
(02.11.17 10:03:09 MSK)

Ответ на: комментарий от futurama 02.11.17 10:01:07 MSK

Каждый раз гонять find? Как-то не очень вариант, имхо. Лучше пусть incron после каждого нового файла триггер на нужный интервал перевзводит.

dhameoelin ★★★★★
(02.11.17 10:03:27 MSK)

Ответ на: комментарий от anonymous 02.11.17 10:03:09 MSK

Хороший годный анонимус. Два чая тебе.

dhameoelin ★★★★★
(02.11.17 10:04:04 MSK)

Ссылка

Ответ на: комментарий от dhameoelin 02.11.17 10:03:27 MSK

Каждый раз гонять find? Как-то не очень вариант, имхо.

Боишься, что кэш инодов в ОЗУ перегреется?

Лучше пусть incron после каждого нового файла триггер на нужный интервал перевзводит.

Писать нечто event-driven на bash-е — ну просто мечта каждого админа.

Deleted
(02.11.17 10:04:51 MSK)

Ответ на: комментарий от Deleted 02.11.17 10:04:51 MSK

Пф, там три-четыре строчки будет, имхо

Лучше, конечно, админ будет пердолиться со своей реализацией крона и инкрона, ок...

dhameoelin ★★★★★
(02.11.17 10:06:39 MSK)

Ответ на: комментарий от Deleted 02.11.17 10:04:51 MSK

И в чем проблема? incron для создания маркера, cron или systemd.timer для проверки периода тишины.

Radjah ★★★★★
(02.11.17 10:08:02 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 10:06:39 MSK

Какого крона, алло? man sleep, man find. Тут проблема высосана из пальца, решение из 3 строк кода. Я выше уже показал даже.

Deleted
(02.11.17 10:08:12 MSK)

Ссылка

Ответ на: комментарий от Radjah 02.11.17 10:08:02 MSK

incron

systemd.timer

Пердолиться с системно-зависимыми нестандартными компонентами — и всё это чтобы проверить сраный mtime файлов в каталоге? Да уж, а потом эти люди идут писать код, и получается KDE.

Deleted
(02.11.17 10:10:19 MSK)
Последнее исправление: Deleted 02.11.17 10:10:29 MSK (всего исправлений: 1)

Ответ на: комментарий от Deleted 02.11.17 10:10:19 MSK

Бобёр, хватит! Бобёр, выдыхай!

Radjah ★★★★★
(02.11.17 10:12:27 MSK)

Ответ на: комментарий от Radjah 02.11.17 10:12:27 MSK

Вот и выдыхай. (:

Deleted
(02.11.17 10:13:48 MSK)

Ссылка

.

а что если «Запоминать» размер каталога и сравнивать предыдущее с последующим значением.

Dob ★
(02.11.17 10:16:24 MSK)

Ответ на: комментарий от anonymous 02.11.17 10:03:09 MSK

/data/ecm, /data/rvs, /data/zli, итдп.

итдп — это сколько (вопрос к ТС)?

ты (anon) хочешь рекурсивный inotify для /data?

Или для каждой директории по строчке в инкроне?

futurama ★★★★★
(02.11.17 10:19:21 MSK)

Ответ на: комментарий от Deleted 02.11.17 09:59:22 MSK

while true ; do
if ! find

о, спасибо большое.... попробую сегодня...

wisedraco ★★
(02.11.17 10:20:01 MSK) автор топика

Ссылка

Ответ на: комментарий от futurama 02.11.17 10:19:21 MSK

итдп — это сколько (вопрос к ТС)?

штук пятнадцать, но могут добавлятся. количество файлов в этих каталогах всех вместе врядли будет более пары - тройки сотен - старое будет раз в несколько часов удалятся другим скриптом...

wisedraco ★★
(02.11.17 10:21:16 MSK) автор топика
Последнее исправление: wisedraco 02.11.17 10:21:39 MSK (всего исправлений: 1)

Ответ на: . от Dob 02.11.17 10:16:24 MSK

а что если «Запоминать» размер каталога и сравнивать предыдущее с последующим значением.

Мы не знаем будут ли создаваться файлы нулевой длинны.

ashot ★★★★
(02.11.17 10:26:40 MSK)

Ссылка

Ответ на: комментарий от dhameoelin 02.11.17 10:03:27 MSK

Каждый раз гонять find?

достаточно проверить время директорий, если нет аутпута, то сигнализировать

find /data -maxdepth 1 -type d -mmin -10 ....

futurama ★★★★★
(02.11.17 10:28:40 MSK)

Ответ на: комментарий от Deleted 02.11.17 10:10:19 MSK

Пердолиться с системно-зависимыми нестандартными компонентами — и всё это чтобы проверить сраный mtime файлов в каталоге?

Ты не модный и не современный хейтер прогресса.

ashot ★★★★
(02.11.17 10:29:04 MSK)

Ответ на: . от Dob 02.11.17 10:16:24 MSK

И ещё вдогонку, ТС пишет, что старые файлы будут удаляться. Поэтому возможен вариант: сколько ушло - столько пришло.

ashot ★★★★
(02.11.17 10:35:12 MSK)

Ссылка

Ответ на: комментарий от ashot 02.11.17 10:29:04 MSK

ага в комментах нашел уточнение. спасибо

Dob ★
(02.11.17 10:59:10 MSK)

Ссылка

Ответ на: комментарий от futurama 02.11.17 10:28:40 MSK

То есть - «каждый раз гонять find»...

dhameoelin ★★★★★
(02.11.17 11:44:31 MSK)

Ответ на: комментарий от Deleted 02.11.17 10:10:19 MSK

Нет, блин, надо написать свой велосипед без сиденья, зато на гусеничном ходу...

dhameoelin ★★★★★
(02.11.17 11:48:07 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 11:44:31 MSK

Да гонять find, но не по огромному дереву, а по одной директории с 15 объектами. Это лучше incron + ГОНЯТЬ по cron'у скрипт проверки результатов incron

futurama ★★★★★
(02.11.17 11:49:02 MSK)

Ответ на: комментарий от futurama 02.11.17 11:49:02 MSK

Эмн, достаточно одного incron, тащемта

dhameoelin ★★★★★
(02.11.17 11:51:25 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 11:51:25 MSK

покажи пример

futurama ★★★★★
(02.11.17 11:52:33 MSK)

Ответ на: комментарий от futurama 02.11.17 11:52:33 MSK

Разве что ты вечером напомнишь. На работе у меня нет ни линуксов ни интернетов нормальных. А с мобилки я тебе много не напишу.

dhameoelin ★★★★★
(02.11.17 11:54:26 MSK)
Последнее исправление: dhameoelin 02.11.17 11:54:47 MSK (всего исправлений: 1)

Ответ на: комментарий от dhameoelin 02.11.17 11:54:26 MSK

напиши логику (словами)

futurama ★★★★★
(02.11.17 11:55:24 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 11:48:07 MSK

Нет, блин, надо написать свой велосипед без сиденья, зато на гусеничном ходу...

Не обязательно докладывать мне о своих сливах.

Deleted
(02.11.17 11:59:31 MSK)

Ответ на: комментарий от futurama 02.11.17 11:55:24 MSK

Incron, при появлении файла, запускает скрипт с отсроченным алармом, который убивает себя предыдущего по pid.

dhameoelin ★★★★★
(02.11.17 12:01:25 MSK)

Ответ на: комментарий от Deleted 02.11.17 11:59:31 MSK

Да ладно? Я тебя слил, как же тут не поглумится?

dhameoelin ★★★★★
(02.11.17 12:02:30 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 12:01:25 MSK

Да, можно и так, но ГОНЯТЬ будешь кучу скриптов, если много файлов приходит, вместо одного раз в 10 мин.

futurama ★★★★★
(02.11.17 12:15:06 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 12:02:30 MSK

кого ты слил? человек поставил задачу на 5 строк (на деле 2), получил 5 строк готовой реализации.
ты же предлагаешь пердолинг и чешешь языком по телефону.
когда эта мегазадача дойдет до опакечивания и CI - позови.

SevikL ★★★★★
(02.11.17 12:17:21 MSK)

Ответ на: комментарий от SevikL 02.11.17 12:17:21 MSK

Ты следом можешь идти. На личности переход начал не я.

dhameoelin ★★★★★
(02.11.17 12:20:22 MSK)

Ссылка

Ответ на: комментарий от futurama 02.11.17 12:15:06 MSK

Я не знаю, насколько ТС критично знать точное время отвала, так что перестраховываюсь. Уж слишком он неясно сформулировал условие.

dhameoelin ★★★★★
(02.11.17 12:22:34 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 12:22:34 MSK

если в последние десять минут с текущего момента ниодного свежего файла не появилось в дефинированных каталогах - будет отправлять мне письмо

futurama ★★★★★
(02.11.17 12:24:00 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 12:22:34 MSK

критично знать точное время отвала

в пределах пары минут - достаточно.

кстати, если ещё и както добыть время последнего пришедшего файла при сбое, и вставить в письмо, было бы вообще шикарно....

wisedraco ★★
(02.11.17 12:26:30 MSK) автор топика

Ответ на: комментарий от futurama 02.11.17 12:24:00 MSK

Текущего момента относительно чего? Если с момента появления последнего файла, то мой вариант больше подходит, если просто относительно текущего времени, то твой более подходящий.

dhameoelin ★★★★★
(02.11.17 12:26:46 MSK)

Ссылка

Ответ на: комментарий от wisedraco 02.11.17 12:26:30 MSK

Можно и время файла сохранять рядом с pid. Если до вечера терпит - кастани меня около 20:00 MSK - запилим тебе и это.

dhameoelin ★★★★★
(02.11.17 12:29:28 MSK)
Последнее исправление: dhameoelin 02.11.17 12:30:08 MSK (всего исправлений: 1)

Ответ на: комментарий от dhameoelin 02.11.17 12:29:28 MSK

более чем терпит, ничего мегаспещшного там нет, просто интересно такой скрипт ввести в продукцию, а также увидеть разные методы решения такой задачи, спасибо. кастану.

wisedraco ★★
(02.11.17 12:32:53 MSK) автор топика

Ссылка

Ответ на: комментарий от wisedraco 02.11.17 12:26:30 MSK

find /data -type f -mmin 20 -exec stat -c '%Y %n %y' {} + | sort -k1nr | head -1

найдет самый свежий файл

futurama ★★★★★
(02.11.17 12:35:54 MSK)

Ответ на: комментарий от dhameoelin 02.11.17 12:29:28 MSK

ты главное удели внимание убийству лишних скриптов в условиях множества одновременно приходящих файлов, а то убьете друг друга и будет эпик фейл

futurama ★★★★★
(02.11.17 12:38:08 MSK)

Ответ на: комментарий от futurama 02.11.17 12:35:54 MSK

время последнего пришедшего файла

ls -ltr | tail -n1 | awk '{print $8}'

ashot ★★★★
(02.11.17 12:40:45 MSK)

Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.

← 1 2 →

←	В Openfire нет возможности голосового общения

Admin

Диаграмма потоков данных. Общий вопрос.

→

.

Похожие темы