Почему tar+gzip/bz2 такой медленный? И что делать?

bz2 одновременно хуже жмёт и тормознее, чем xz(lzma). gzip быстрее, чем lzma, убедись что для каждого формата используются многопоточные компрессоры

и наличие многопочного компрессора не всегда означает наличие многопоточного ДЕкомпрессора

У squashfs точно многопоточный. У tar тожно однопоточный. И да: что-то анонимусы понабежали :)

а pbzip2 что? (Parallel bzip2 (de)compressor using libbz2)

Да. И многопоточный декомпрессор есть только у bzip2. Поправьте, если не так.

tar -I pbzip2 -xf file

или

pbzip2 -dkc file | tar -x

замени gzip на pigz и будет сжатие многопоточное.

да и распаковка ускоряется, обычно в 2 раза.

Не понял что где тормозит. Медленно копируются произвольные файлы из сжатого тарбола?

Медленное сжатие.

bz2 одновременно хуже жмёт и тормознее, чем xz

У вас пруф отклеился

Я-бы попробовал использовать LZ4

LZ4 is a very fast lossless compression algorithm, providing compression speed at 400 MB/s per core, with near-linear scalability for multi-threaded applications. It also features an extremely fast decoder, with speed in multiple GB/s per core, typically reaching RAM speed limits on multi-core systems.

И как его с tar заставить работать?

Lrzip от анестезиолога тебе поможет)

тред не читал, но а) полюбому ты его сравнил с чем-нибудь непотоково сжатым б) полюбому ответ в общем случае - lbzip2 в) полюбому без постановки задачи сколь-либо оптимального ответа не получить.

провел небольшой эксперимент:

user@host:~/1> time tar -I lz4 -c google-earth.bak > ../test.tar.lz4

real    0m1.653s
user    0m0.312s
sys     0m0.213s
user@host:~/1> time tar -I gzip -c google-earth.bak > ../test.tar.lz4

real    0m4.881s
user    0m4.825s
sys     0m0.174s
user@host:~/1> time tar -I bzip2 -c google-earth.bak > ../test.tar.lz4

real    0m8.555s
user    0m8.447s
sys     0m0.139s
user@host:~/1> time tar -I lzma -c google-earth.bak > ../test.tar.lz4

real    0m35.121s
user    0m34.914s
sys     0m0.548s
user@host:~/1> time tar -I xz -c google-earth.bak > ../test.tar.lz4

real    0m35.130s
user    0m35.009s
sys     0m0.469s

Тест говно, в первом случае не учитывается попадание google-earth.bak в кэш в последующих случаях.

Алсо дефолтные настройки сжатия у разных алгоритмов разные.

Тест говно, в первом случае не учитывается попадание google-earth.bak в кэш в последующих случаях.
Алсо дефолтные настройки сжатия у разных алгоритмов разные.

У Вас есть возможность провести тест-неговно и предоставить результаты тестирования на всеобщее обозрение...