Есть куча разных сенсоров (gps, акселерометр, термодатчик, ...), данные с них собираются от 1 до 1000 раз в секунду. В теории могут быть и новые хотелки, вроде добавления микрофона и записи звука. Вопрос - как все это хранить?
Пусть сейчас 10 каналов по 1000 записей в сек, запись 2 байта = 20000 байт/сек = 51 840 000 000 в месяц, что для мобильного устройства многовато. Запись может идти неделями.
Пока в голове идея разбить данные, скажем, на минуты (1 200 000, чуть более мегабайта), а затем каждую минуту сжимать гзипом. Получившиеся «минуты» сложить в файл. Для навигации по этим минутам нужен индекс. Так как мы не знаем как долго будет идти запись, то нужен супер-индекс для адресации минутных индексов.
Не могу отделаться от ощущения, что где-то такое я уже видел, но где? В общем, не хочу думать (вместе данные писать или по датчикам разделить), хочу готовое решение, задача в общем-то очевидная и распространенная.