подобрать уровень и алгоритм сжатия

А пробовал microSD карточки A1/A2?

Например, SanDisk Extreme microSDXC Class 10 UHS Class 3 V30 A2

сомневаюсь что card reader на этой железке может UHS, не знаю как проверить

И на википедии написал дурень какой-то

Современные смартфоны в формате UHS-II не нуждаются

расстрелять

Так попробуй, либо ещё eMMC или SSD

Сейчас в проекте AM5728 + SSD M.2 для архивов. Компактно, шустро, CPU не нагружает.

А у microSD для постоянной записи архивов есть БОЛЬШОЙ минус: они быстро выходят из строя.

bz2

Возможности сменить формат сжатия нет?

нет

а еще я могу прям сюда писать в text mod с шифрованием aes))

поделитесь пожалуйста однострочником

Холостой:

pv /dev/urandom > /dev/null

С архивированием:

pv /dev/urandom | bzip2 > /dev/null

спасибо за pv, но это же скорость чтения /dev/urandom будет, но мне надо на выходе

Так у тебя есть задача: писать поток данных с такой-то скоростью в архив (или т.п.). Так от неё и отталкивайся. Если сейчас CPU+microSD не справляются с ней, то оперативно ищи замену.

Ну и в целом тестируй почти на реальных данных. А то сейчас перегрузишь CPU, а на сетевую/вычислительную активность не оставишь места.

Можно взять нормальную карточку соответствующего класса (надёжность, скорость записи, IOPs, контроллер внутри). Решит проблему - Ок (пишем в требования). Не решит - так вариантов много. Мы сейчас попробовали SSD и очень довольны (о чём я и делюсь). Подключить SSD можно по SATA/PCIe/USB. M.2 - достаточно компактный формат для Embedded. Недавно смотрел вариант, где eMMC намного быстрее дешманской microSD.

Если не можешь повлиять на железо, то пропусти все мои советы мимо. Но ещё раз повторюсь: micrSD карты для постоянного ведения архивов - плохая идея.

сам bzip2 довольно сильно нагружает процессор,
выбери другой

но это же скорость чтения /dev/urandom будет

seq 100000000 | pv | bzip2 >/dev/null

2021

bzip2

Зачем это может понадобиться?..

seq 100000000 | bzip2 | pv >/dev/null

спасибо, pv с другой стороны, потом проверю, seq немного нагружает cpu

pv с другой стороны

Какого рожна? Ты что меришь? Входной поток или сжатый?

bzip2 дерьмо, подбирай что-то другое

сжатый, но можно и с двух сторон

не в bzip2 дело, это пригодится для подбора алгоритма тоже

как раз в bzip2 дело, потому что у него наихудшее соотношение уровня сжатия к требующемуся на него времени. он ни для чего не годится в 2021г

сжатый

И что это за «мера» такая? Мера чего?