Kafka + Go

confluent-kafka-go уже посмотрел разумеется?

Да, как основную. Кажется, в ней есть не всё. Плюс документация не лучшая. Но именно её думал форкать и расширять, если понадобится.

я еще sarama юзал, но это давно было

А какие задачи решал на кафке? Вообще, большая нагрузка? Возможности по балансировке пригодились?

Задачи типа принимать непрерывно данные от 100к девайсов, отправлять дальше чтобы посчитать всякую агрегацию типа среднее, среднее среди всех участников, разные отклонения, рейтинг, и агрегированные данные непрерывно отправлять обратно на девайсы. Продюсеры и консюмеры балансировались,т.к. очень важна была низкая latency, чтобы к примеру девайс отправил свой heart rate и максимум через секунду у него была инфа что он на каком-то там месте по этому показателю. Сама Kafka с такой нагрузкой справляется как два пальца, главное позаботиться чтобы сеть могла пропускать тот объём который надо.

Спасибо, интересно.

Стояла задача гарантированной доставки сообщений от продюсера до брокера? Использовал асинхронную отправку?

не, асинхронная отправка увеличивала latency, пришлось отказаться. Kafka, продюсеры, консюмеры, как собственно и весь проект хостилось на AWS, и проблем с доставкой не возникало, ну мы и не заморачивались. Сейчас там уже вроде даже сервис у них появился Amazon MSK, чтобы в два клика кластер с кафкой поднять, и на яндексе тоже в превью kafka есть.

Удивительно. Видать, книге верить не надо, а - гонять тесты - да. Спасибо ещё раз)