Положим есть у нас несколько серверов с некими очередями в которых накапливаются записи о событиях. Для простоты положим что это таблицы в базах данных в которые добавляются записи. Мы можем узнавать о факте поступления новой записи, при желании можем узнать сколько всего не обработанных записей на каждом сервере.
Далее вопрос: как бы вы натравливали воркеры на эти записи? 1) создали на каждом сервере пул воркеров которые бы периодически либо по сигналу лезли бы за записями? 2) создали бы пул воркеров на сторонних машинах которые узнавали бы о новых записях через какую-то очередь типа rabbitmq? 3) как бы вы решали сколько воркеров нужно натравить на новые записи чтобы с одной стороны их не было мало с другой чтобы сотни воркеров не бросились за одной записью?
