LINUX.ORG.RU
Форум — Admin  

Mенеджеры заданий / batch / job pool

 


0

2

Господа, какие есть варианты замены крона для запуска бэкапов? Хочется какую-то простую систему с гуем чтобы там было видно задания, результат выполнения и логи.
Сейчас используется два подхода - на каждом сервере в кроне добавлены задания; второй вариант - центральный сервер на котором в кроне 3000 строчек вида 'ssh server01 /bin/backup.sh'.
В обоих случаях следить как-то за всем этим невозможно.

Пока нашел два готовых варианта: task spooler и nq. Еще пару заготовок https://github.com/vincetse/shellutils/blob/master/job_pool.sh и https://github.com/spektom/shell-utils/blob/master/jp.sh. Но функционала у них недостаточно. Еще есть celery, гуй у него хороший, но к нему надо писать обертку на пейтоне для добавления скриптов как заданий и все остальное.
Среди платных вариантов больше, но они платные.

★★★★★
← Белая подсеть за серым IP PPPoE
ejabberd Как регистрировать пользователя через клиента ? →

На ваш вопрос с ходу не отвечу, т.к. «мало золота» но:
Простите просматривать 3000 в гуйне разве удобнее чем анализировать выполнение тех же 3000 автоматически?
ЗЫ Возможно я не правильно понял ваш запрос.

anc ★★★★★
()
Ответ на: комментарий от anc

Ну примерно. Гуйня показала задания что завершились с ошибками, просмотрел ошибки, сделал нужные действия и все. «Автоматически анализировать» логи заданий тоже подразумевает что есть скрипт, который следит за выполнением и за логами, ну и десятком других связанных мелочей.

Еще один момент - параллельное выполнение, 3000 заданий в кроне, там с временем выполнения жутка мешанина, а вот эти штуки умеют выполнять задания одно за другим и в несколько потоков.

prizident ★★★★★
() автор топика

Господа, какие есть варианты замены крона для запуска бэкапов? Хочется какую-то простую систему с гуем чтобы там было видно задания, результат выполнения и логи. Сейчас используется два подхода - на каждом сервере в кроне добавлены задания; второй вариант - центральный сервер на котором в кроне 3000 строчек вида 'ssh server01 /bin/backup.sh'. В обоих случаях следить как-то за всем этим невозможно.

bareos+bareos-webui+интеграция с zabbix.

P.S. неистово плюсую rundeck. Штука крутая. Используем её для деплоя.

DALDON ★★★★★
()
Ответ на: комментарий от prizident

Еще один момент - параллельное выполнение, 3000 заданий в кроне, там с временем выполнения жутка мешанина, а вот эти штуки умеют выполнять задания одно за другим и в несколько потоков.

Опять не в тему, но: крон тоже умеет «одно за другим» ман почитайте.

anc ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Белая подсеть за серым IP PPPoE
Admin
ejabberd Как регистрировать пользователя через клиента ? →