Удаленный запуск и мониторинг процессов

Надо больше информации

Если скажешь какой с удовольствием напишу...

просто поподробнее расскажи. может подскажу чего дельного. А так ты слишком мало рассказал, выводы сложно делать. А телепаты уже в спячку впали ибо зима скоро.

:D Попробую поподробнее. На данный момент разработан процесс, который умеет работать с данными и умеет взаимоействовать с другими экземплярами самого себя. Экземпляры процесса могут выполняться паралельно на том же компьютере, могут выполняться на других компьютерах. Данная часть уже сделана и вроде нормально работает.

Раньше, данный процесс централизованно запускался на разных машинах, посредством простого скрипта на bash. Однако на данным момент это стало неудобно, появился дополнительный функционал, и остро встал вопрос, чтобы запуск происходил под управлением централизованной программы.

Сейчас хочется сделать логику, которую мне легче описать через однокомпьютерный вариант. Там все сводилось бы к виду: 1. Запустить процессы (fork, exec) 2. Ожидать их завершение (waitpid) или завершить некоторые из них по требованию. 3. Предпринять некие действия в зависимости от того, что вернул при завершении процесс (запустить заново, ничего не делать, завершить другие)

Теперь как бы легче адаптировать эту логику на многомашинный вариант?

Если централизованно думаешь управлять процессами то надо будет систему для взаимодействия с ними. Тут многое зависит от твоих «процессов» должна ли система управления к ним обращаться либо они должны к системе управления обращаться.

Теперь как бы легче адаптировать эту логику на многомашинный вариант?

реализовать «агента». процесс(программу/скрипт/заглушку) который запускается на управляющей машине и соотносится с удалёнными клиентами 1:1. Запуск агента влечёт запуск удалённого клиента, завершение клиента влечёт завершение агента, ну и по мелочам там..

на центральной машине рулишь агентами как локальными процессами, как тебе удобно

эрланг из коробки с некоторой доработкой под свои нужды, если попроще, то любая система, работающая с транзакционной БД в общем смысле.

Был gearman кажется такой еще, если еще попроще.

Вам зачем это?

openPBS/torque не подойдёт?

В пост не вчитывался, глазами пробежал.

Но смущает использовать MPI, только как средство запуска и отслеживания работоспособности процессов. Получается как то несоразмерно его функционалу.

Значит наверное не нужно, оверхед.

Извини можно чуть попдробнее. Не совсем понятно про агентов. Ведь остается та же проблема, удаленно запустить агент, остановить... Или имеется ввиду, что агенты изначально запускаются на управляющей машине и работают там вечно (а-ля демоны). Я могу удаленно с ними взаимодействовать, и через них запускать, завершать, получать коды завершения и мониторить на данной машине удаленные клиенты.

supervisord + любая http://en.wikipedia.org/wiki/Configuration_management по вкусу, при условии что это все хозяйство есть кому установить и настроить.

http://slurm.schedmd.com

ssh - rulez!!!11

поддерживаю. задеплоить, запустить, остановить, данные залить - все можно по ssh. Может, конечно, чего не понимаю...

на bash осилишь за день всю систему
И не надо использовать тяжеловесные велосипеды.