База данных со сжатием данных.

А если любую базу, но на ФС со сжатием ?

Ходят слухи что БД от яндекса неплохо экономит место, кликхаус кажется, я не проверял если чего

Не факт что это эффективно.

Нашел clickhouse, посмотрим про что.

По описанию просто идеально подходит.

то есть ты хочешь взять какую-то из СУБД, которые рассчитаны на хранение и обеспечение доступа к данным, и навесить на нее обязанности архивирования-разархивирования данных? просрать все индексы, превратить сложные запросы в адский ад, просто потому что тебе жалко еще один винт воткнуть? я правильно понял?

просто потому что тебе жалко еще один винт воткнуть?

42 Тб для домашнего использования. Там рандомно сгенерированные 10 символов, из которых делается md5 и которые надо извлечь за 10 минут.

Там рандомно сгенерированные 10 символов, из которых делается md5 и которые надо извлечь за 10 минут.

и база для этой херни затем, чтобы что? сдается мне, ты сейчас ищешь лубрикант для удобного удаления гланд через задницу

А в чем хранить кусок в 42 тб?

кусок чего?

кусок данных, которые hashcat сгенерировал.

чо насчет того чтобы хранить эти слова сразу пожатые RLE например?

млять, и тут мамкины какиры. как же вы достали, упыри безмозглые.

Сфига ты взял, что это пароли? Это проверка вводимых данных на честность.

Нашел clickhouse,

Будут вопросы - кастуй, тоже на ней сижу. Кратко - быстрая, но со своими тонкостями

Вариант (если питон используешь): использовать HDF5 и pytables. Оно умеет в прозрачное сжатие и эффективную работу с большими датасетами. Правда, хорошо только на ридонли данных, т.к. запись там только однопоточная со всеми вытекающими. Но индексы вроде есть.