История изменений

О, мамкин обрабатыватель данных подтянулся.

Мальчик, в реальности обработка данных представляет собою конвейер:

Обработка данных из источников → Кладём куда нужно

И только потом уже считаем что нужно используя то, куда положили.

И основное время занимает организация доступа к данным источников и к их первичной обработке, а вовсе не подсчёт конечных метрик. Который, к тому же, гораздо проще делать с использованием какого-нибудь SQL, если оный поддерживается там, куда мы сливали обработанные данные (Clickhouse, Vertica, какой-нибудь Spark или Hive для любителей вёдер с болтам).

Go как раз очень хорошо подходит для первичной обработки.

О, мамкин обрабатыватель данных подтянулся.

Мальчик, в реальности обработка данных представляет собою конвейер:

Обработка данных из их источников → Кладём куда нужно

И только потом уже считаем что нужно используя то, куда положили.

И основное время занимает организация доступа к данным источников и к их первичной обработке, а вовсе не подсчёт конечных метрик. Который, к тому же, гораздо проще делать с использованием какого-нибудь SQL, если оный поддерживается там, куда мы сливали обработанные данные (Clickhouse, Vertica, какой-нибудь Spark или Hive для любителей вёдер с болтам).

Go как раз очень хорошо подходит для первичной обработки.

О, мамкин обрабатывать данных подтянулся.

Мальчик, в реальности обработка данных представляет собою конвейер:

Обработка данных из их источников → Кладём куда нужно

И только потом уже считаем что нужно используя то, куда положили.

И основное время занимает организация доступа к данным источников и к их первичной обработке, а вовсе не подсчёт конечных метрик. Который, к тому же, гораздо проще делать с использованием какого-нибудь SQL, если оный поддерживается там, куда мы сливали обработанные данные (Clickhouse, Vertica, какой-нибудь Spark или Hive для любителей вёдер с болтам).

Go как раз очень хорошо подходит для первичной обработки.