История изменений

Я знаю и использую zmq, но тут у меня будут десятки тысяч сообщений и тысячи воркеров + выч. кластер

Это же не так много, почти что угодно наколеночное осилит такие объёмы.

если воркеры с потоком сообщений не справляются, то сообщения должны посейвится на диск, но не потеряться. Отследим, что кол-во сообщений растёт и добавим воркеров. Писать слой гарантировая доставки сообщений не хочется вот и всё. Поэтому и ищется, что-то более высокоуровневое чем zmq

Тебе мб нужен не mq, а что-то вроде mapreduce, например как в известном могильнике. Оно как раз реализует нужную логику регистрации машин, нарезку кластера между задачами и управление очередями. Внутри оно выглядит как табличка с входными данными (задачи) и реализация map операции с обработчиком таблицы.

Я знаю и использую zmq, но тут у меня будут десятки тысяч сообщений и тысячи воркеров + выч. кластер

Это же не так много, почти что угодно наколеночное осилит такие объёмы.

если воркеры с потоком сообщений не справляются, то сообщения должны посейвится на диск, но не потеряться. Отследим, что кол-во сообщений растёт и добавим воркеров. Писать слой гарантировая доставки сообщений не хочется вот и всё. Поэтому и ищется, что-то более высокоуровневое чем zmq

Тебе мб нужен не mq, а что-то вроде mapreduce, например как в известном могильнике. Оно как раз реализует нужную логику регистрации машин, нарезку кластера между задачами и управление очередями. Внутри оно выглядит как табличка с входными данными (задачи) и реализация map операции с обработчиком над этими операциями.