Как оценить оптимальную степень сжатия?

до проведения самого сжатия?

Это только если в /dev/null, через pv сжимать.

на каких настройках лучше сжимать данные

Для gz поможет advdef.

А индексировать эти gzip потом можно тем же способом что обычный deflate?

Просто юзай lz4 везде. Другое прочее сжатие слишком не эффективно.

Это только если в /dev/null, через pv сжимать.

Лучше тогда сжимать с опцией --keep, а потом оставить нужный файл, чтобы сэкономить время. Меня больше интересует, есть ли возможность оценить приблизительный размер файла после сжатия, либо определить оптимальные настройки. Просто для некоторых файлов выбор пресета и опции --extreme значительно уменьшает размер сжатых данных. Для некоторых различия незначительны, и нет смысла тратить время на более сильное сжатие. Некоторые файлы вообще не сжимаются. В руководстве к XZ даже написано:

Specifically, it's not a good idea to blindly use -9 for everything like it often is with gzip(1) and bzip2(1).

У тебя очень много ошибок в слове «zstd».

Меня больше интересует, есть ли возможность оценить приблизительный размер файла после сжатия

Можно попробовать так:

How to calculate the entropy of a file?

Но как это пересчитать в размер архива? Чорт его знает.

Z S T D S T D

Да вот не применял особо, lz4 действительно практически бесплатный и это очень удобно на практике. Кроме того zstd всего пара лет и потенциально могут быть проблемы.

Кроме того zstd всего пара лет и потенциально могут быть проблемы.

Согласен, но за ним стоит Facebook и он включён в ядро. Думаю, сырым zstd назвать сложно.

Ничего нет лучше метода научного тыка. Я надеюсь, что Вы хорошо себе представляете, какие типы данных Вам приходится сжимать. Вот и подготовьте наборы таких типов данных и пройдитесь по ним различными архиваторами с различными опциями.

Дальше Вам нужно будет придумать, как задействовать архиватор с нужной опцией для конкретного типа файла.

И да, zstd рулит!

натренируй нейросетку

Если данных много - то лучше не заморачиваться. Вы же не будете под каждую конкретную задачу использовать только метод сжатия. Если данные плюс\минус одинаковые. Возьмите и методом простого опытного пути установите наиболее приемлемый для Вас вариант. вот и все. И ни один архиватор никогда не выдаст предварительный результат степени сжатия до полного окончания процедуры архивации.

Ну можно заранее знать результат. Lzma2 сожмёт лучше всего, но оооооооооооочень медленно, особенно если подкрутить настройки. Какой-нибудь paq ещё лучше, только стоимость сжатия ещё выше.