История изменений
Исправление VladimirMalyk, (текущая версия) :
кафка про другое.
прежеде, чем свалить данные в кликхаус (или любое другое колоночное хранилище), их нужно подготовить.
это происходит в тч. с урезанием сырой информации в схему, удобную для OLAP-обработки.
и если через полгода выяснится, что схема неполная либо наполнялась с ошибками — наполнить новую схему историческими данными уже не получится.
один из кейсов для кафки — пустить в топик сырых данных новую группу потребителей, которые спокойно навалят данных в новую схему. а потом ещё и продолжат доливать новые порции в реальном времени.
Исходная версия VladimirMalyk, :
кафка про другое.
прежеде, чем свалить данные в кликхаус (или любое другое колоночное хранилище), их нужно подготовить.
это происходит в тч. с подготовкой сырой информации в схему, удобную для OLAP-обработки.
и если через полгода выяснится, что схема неполная либо наполнялась с ошибками — наполнить новую схему историческими данными уже не получится.
один из кейсов для кафки — пустить в топик сырых данных новую группу потребителей, которые спокойно навалят данных в новую схему. а потом ещё и продолжат доливать новые порции в реальном времени.