История изменений
Исправление samson_b, (текущая версия) :
уж лучше gnu parallel тогда.
Кажется то что надо :)
Тут скорее вопрос не в вычислительных ресурсах, а в скорости сети и работы накопителя.
Сетка выдает 40 мегабайт в секунду (до удаленного сервера) Винты шуршат на 1000 мегабайт в секунду
Я уже применил оптимизацию у архиватора, стал использовать 7za, чтобы в многопоточном режиме паковать. Но все равно, я думаю еще много чего можно выжать из сервера :)
Может что-то готовое использовать? bacula/bareos вроде в каком-то виде умеет concurrent задания с файловым хранилищем выполнять. (хотя сам не пробовал)
Попробую parallel сначала, я сторонник легковесных и простых решений по возможности.
PS У меня еще были мысли чтобы вспомогательный скрипт создавал файл-флаг при запуске и удалял по его завершении, а по количеству флагов в папке можно было например раз в 5 секунд проверять количество работающих скриптов и докидывать, если их меньше нормы. Но это костыли, хочется что-то готовое.
Исправление samson_b, :
уж лучше gnu parallel тогда.
Кажется то что надо :)
Тут скорее вопрос не в вычислительных ресурсах, а в скорости сети и работы накопителя.
Сетка выдает 40 мегабайт в секунду (до удаленного сервера) Винты шуршат на 1000 мегабайт в секунду
Я уже применил оптимизацию у архиватора, стал использовать 7za, чтобы в многопоточном режиме паковать. Но все равно, я думаю еще много чего можно выжать из сервера :)
Может что-то готовое использовать? bacula/bareos вроде в каком-то виде умеет concurrent задания с файловым хранилищем выполнять. (хотя сам не пробовал)
Попробую parallel сначала, я сторонник легковесных и простых решений по возможности.
Исходная версия samson_b, :
уж лучше gnu parallel тогда.
Кажется то что надо :)
Тут скорее вопрос не в вычислительных ресурсах, а в скорости сети и работы накопителя.
Сетка выдает 40Мб в секунду (до удаленного сервера) Винты шуршат на 1000Мб в скунду
Я уже применил оптимизацию у архиватора, стал использовать 7za, чтобы в многопоточном режиме паковать. Но все равно, я думаю еще можно много чего выжать из сервера :)
Может что-то готовое использовать? bacula/bareos вроде в каком-то виде умеет concurrent задания с файловым хранилищем выполнять. (хотя сам не пробовал)
Попробую parallel сначала, я сторонник легковесных и простых решений по возможности.