LINUX.ORG.RU

Сообщения dunom2

 

Посоветуйте формат данных для потоковой записи большого количества данных.

Есть куча разных сенсоров (gps, акселерометр, термодатчик, ...), данные с них собираются от 1 до 1000 раз в секунду. В теории могут быть и новые хотелки, вроде добавления микрофона и записи звука. Вопрос - как все это хранить?

Пусть сейчас 10 каналов по 1000 записей в сек, запись 2 байта = 20000 байт/сек = 51 840 000 000 в месяц, что для мобильного устройства многовато. Запись может идти неделями.

Пока в голове идея разбить данные, скажем, на минуты (1 200 000, чуть более мегабайта), а затем каждую минуту сжимать гзипом. Получившиеся «минуты» сложить в файл. Для навигации по этим минутам нужен индекс. Так как мы не знаем как долго будет идти запись, то нужен супер-индекс для адресации минутных индексов.

Не могу отделаться от ощущения, что где-то такое я уже видел, но где? В общем, не хочу думать (вместе данные писать или по датчикам разделить), хочу готовое решение, задача в общем-то очевидная и распространенная.

dunom2
()

RSS подписка на новые темы