https://github.com/nodeca/idoit
Новый проект с говорящим названием от NIH-отдела нашей велосипедной фабрики. Очередь задач под ноду, на редиске. Готовых подобного уровня не нашлось, а поднимать ради простых вещей монстров типа RabbitMQ не хотелось.
По фичам напоминает Celery (группы, цепочки задач). Плюс есть итерирующий мапер, чтобы эффективно нарезать гиганские дырявые диапазоны на чанки с одинаковым числом элементов. Все апдейты состояний завернуты в транзакции, так что любой процесс может падать в произвольный момент - целостность не пострадает.
Разруливание тяжелых задач отдано на откуп системному шедюлеру. Просто делается пара пулов с воркерами, в один роутится всё «не блокирующее», во второй - с интенсивными вычислениями.
Отдельное спасибо dave и всем остальным, кто помог быстро сориентироваться в теме.


Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от Dron



Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от Dron


Ответ на:
комментарий
от comp00



Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от theNamelessOne

Ответ на:
комментарий
от DeVliegendeHollander

Ответ на:
комментарий
от beastie

Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от FeyFre

Ответ на:
комментарий
от DeVliegendeHollander


Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от DeVliegendeHollander


Ответ на:
комментарий
от Dron


Ответ на:
комментарий
от anonymous

Ответ на:
комментарий
от Vit

Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от Dron

Ответ на:
комментарий
от anonymous

Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Похожие темы
- Форум Очереди задач, потоки, мультипроцессы. (2019)
- Форум очередь задач на cups (2009)
- Форум Python 3 Потоки/Очереди задач. (2019)
- Форум Очередь задач по обработке файлов (2019)
- Форум Где прячется задача для Laravel-очереди? (2019)
- Форум нода слилась (2015)
- Форум Синхронизация задач в очереди без явного ожидания (2018)
- Форум ноду форкнули (2014)
- Форум Очередь голосований (2018)
- Форум Возможно ли из ProcessPoolExecutor получить список выполняющихся задач и задач в очереди? (2020)