https://github.com/nodeca/idoit
Новый проект с говорящим названием от NIH-отдела нашей велосипедной фабрики. Очередь задач под ноду, на редиске. Готовых подобного уровня не нашлось, а поднимать ради простых вещей монстров типа RabbitMQ не хотелось.
По фичам напоминает Celery (группы, цепочки задач). Плюс есть итерирующий мапер, чтобы эффективно нарезать гиганские дырявые диапазоны на чанки с одинаковым числом элементов. Все апдейты состояний завернуты в транзакции, так что любой процесс может падать в произвольный момент - целостность не пострадает.
Разруливание тяжелых задач отдано на откуп системному шедюлеру. Просто делается пара пулов с воркерами, в один роутится всё «не блокирующее», во второй - с интенсивными вычислениями.
Отдельное спасибо dave и всем остальным, кто помог быстро сориентироваться в теме.
Похожие темы
- Форум Очереди задач, потоки, мультипроцессы. (2019)
- Форум очередь задач на cups (2009)
- Форум Python 3 Потоки/Очереди задач. (2019)
- Форум Очередь задач по обработке файлов (2019)
- Форум Где прячется задача для Laravel-очереди? (2019)
- Форум нода слилась (2015)
- Форум Синхронизация задач в очереди без явного ожидания (2018)
- Форум ноду форкнули (2014)
- Форум Очередь голосований (2018)
- Форум Возможно ли из ProcessPoolExecutor получить список выполняющихся задач и задач в очереди? (2020)