Кейс юзеры шлют данные, данные от них смерживаются(за какой то интервал времени) получается массив данных [ ] и уже этот лист отправляется на обработку в многопоточное приложение(фоновый процесс). Для этого нужен брокер, какой брокер так умеет? Суть в том чтобы, обрабатывать много данных за раз. Или взять redis и в нее писать данные, от туда забирать [ ] и отправлять на обработку в приложение. Вариант с редисом вроде выглядит не плохо, если юзеры шлют данные в одно и тоже время, тогда получится забрать лист. А если в разное, то получится таже самая очередь. Как бы в любом случае очереди не избежать. Или это уже бредятина крутится в голове, нужна обратная связь.
п.с. Все это речь про обработку бэкграунд процессов в веб приложении.