Сжать большой файл. Лучший архиватор

PAQ - круче только яица

lrzip/zp что ли?

Если образ виртуалки, то запусти на ней какую-нибудь утилитку зануления свободного места.

ps. венду можно ещё и дефрагментировать :)

например? для вбокса или для вмвари что-то такое я нарывал. В случае с зен оно сойдёт?

не, http://ru.wikipedia.org/wiki/PAQ, PeaZip его поддерживате

В убунтовских репах есть ZPAQ

Да это не от системы виртуализации зависит. Гостевой системой дефрагментируй и почистизанули свободное место. У меня так получалось раза в два лучше упаковать.

Кстати паковал 7z, но это не важно. Принцип один - нули пакуются хорошо.

с непонятным(win7 HDD) содержимым

Ну так разберись.

с этим архиватор должен хорошо разбираться

Кому должен?

мне лично.

Тебя обманули.

xz

Собрать zpaq (готовые не использовать). Выигрыш относительно xz обычно небольшой, скорость сжатия в разы меньше.

UHA рулит и педалит. Но он реальный тормоз. ACE жмёт чуть хуже, но раз в десять шустрей.

для вбокса или для вмвари что-то такое я нарывал

dd /dev/zero fill ; sync ; rm fill

http://warp.povusers.org/ArchiverComparison/

Говорят, что 7zip, но я бы предпочёл bzip2 из соображений портабельности.

Алгоритм Бабушкина не пробовал?

Попробуйте RAR.

Да, попробуй lrzip от Коливаса.

time xz -zv -9 /media/gs/win/btr_mnted/domU-disk1.img /media/Putin/zone/win7.xz /media/gs/win/btr_mnted/domU-disk1.img (1/2) 100 % 21,7 GiB / 40,0 GiB = 0,542 2,4 MiB/s 4:47:46

/media/Putin/zone/win7.xz (2/2) xz: /media/Putin/zone/win7.xz: Нет такого файла или каталога

real 287m47.623s user 284m10.767s sys 3m4.519s

22720120

почему в параметрах команды 3 файла?

Совет про дефрагментацию и забивание пустого нулями - дельный.

ну, во первых два. я пытался указать, куда выходной файл писать. Во вторых нижняя строчка, это его(архиватора) ругань. Он так и не понял, что я от него хочу и насрал вывод туда же, где был и исходный файл.

оно умеет в выходные файлы только как-то так xz -zk9ev --stdout ./infile.img > ./outfile.img.xz

потыкал я этот zp. Режима verbose нет. А сидеть и ждать пока жмётся 41 гб, непонятно сколько времени в пустоту совсем неохота. И упаковывается ли там, непонятно.

bzip, lzma, rar?

Эмм... если «работать» с бэкапом понадобиться в винде, то лучше rar, иначе lzma, или точнее xz

Скорость сжатия/распаковки неважна. Желательно использование многопоточности.

Если скорость сжатия/распаковки неважна то какая разница во сколько потоков это делать ?

имеет более низкий приоритет

lrzip -vz -L9 -p6 /media/gs/win/btr_mnted/domU-disk1.img -o /media/Putin/zone/tmp/win7.archive
The following options are in effect for this COMPRESSION.
Threading is ENABLED. Number of CPUs detected: 6
Detected 8160571392 bytes ram
Compression level 9
Nice Value: 19
Show Progress
Verbose
Output Filename Specified: /media/Putin/zone/tmp/win7.archive
Compression mode is: ZPAQ. LZO Compressibility testing enabled
Heuristically Computed Compression Window: 51 = 5100MB
File size: 42949672960
Will take 8 passes
Beginning rzip pre-processing phase
Total: 12%  Chunk: 99%          ZPAQ    1: 20%  2: 10%  3: 70%  4: 100% 5: 90%  6: 80%  7: 80%
Pass 2 / 8 -- Elapsed Time: 00:41:07. ETA: 04:43:28. Compress Speed: 2.103MB/s.
Beginning rzip pre-processing phase
Total: 25%  Chunk: 99%          ZPAQ    1: 100% 2: 100% 3: 90%  4: 80%  5: 70%  6: 60%  7: 50%
Pass 3 / 8 -- Elapsed Time: 01:25:57. ETA: 04:13:19. Compress Speed: 1.929MB/s.
Beginning rzip pre-processing phase
Total: 38%  Chunk: 99%          ZPAQ    1: 90%  2: 80%  3: 70%  4: 60%  5: 100% 6: 90%  7: 100%
Pass 4 / 8 -- Elapsed Time: 02:06:34. ETA: 03:26:29. Compress Speed: 2.129MB/s.
Beginning rzip pre-processing phase
Total: 50%  Chunk: 99%          ZPAQ    1: 100% 2: 90%  3: 80%  4: 70%  5: 50%  6: 20%  7: 100%
Pass 5 / 8 -- Elapsed Time: 02:47:58. ETA: 02:43:32. Compress Speed: 2.089MB/s.
Beginning rzip pre-processing phase
Total: 63%  Chunk: 99%          ZPAQ    1: 20%  2: 100% 3: 100% 4: 80%  5: 60%  6: 30%  7: 20%
Pass 6 / 8 -- Elapsed Time: 03:38:45. ETA: 02:06:38. Compress Speed: 1.703MB/s.
Beginning rzip pre-processing phase
Total: 76%  Chunk: 99%          ZPAQ    1: 30%  2: 100% 3: 100% 4: 70%  5: 40%  6: 40%  7: 40%
Pass 7 / 8 -- Elapsed Time: 04:27:48. ETA: 01:24:33. Compress Speed: 1.763MB/s.
Beginning rzip pre-processing phase
Total: 88%  Chunk: 99%          ZPAQ    1: 50%  2: 40%  3: 50%  4: 100% 5: 100% 6: 100% 7: 70%
Pass 8 / 8 -- Elapsed Time: 05:07:36. ETA: 00:39:18. Compress Speed: 2.173MB/s.
Beginning rzip pre-processing phase
/media/gs/win/btr_mnted/domU-disk1.img - Compression Ratio: 2.053. Average Compression Speed:  2.000MB/s.
Total time: 05:41:24.50

du /media/Putin/zone/tmp/win7.archive 20426108 на два гига плотнее, однако.

Чем лучше ужимать?

xz(алгоритм lzma2). В настройках поставь по максимуму. Да, памяти не забудь купить.

Желательно использование многопоточности.

ты уже купил многопоточную память, по одной, на каждый свой процессор? Нет? У тебя одна оперативка? Тогда NoWay.

Да? У тебя кластер из N систем? Режь файл на N кусков, и жми параллельно.

PAQ - круче только яица

последняя стадия упоротости ИМХО...

ты уже купил многопоточную память, по одной, на каждый свой процессор? Нет? У тебя одна оперативка? Тогда NoWay.

Ты что несёшь?

с этим архиватор должен хорошо разбираться

нет.

Энтропия белого шума (мусора) равна 1 бит/бит, т.е. белый шум принципиально не сжимаем.

Энтропия /dev/zero равна нулю. Т.е. _любое_ число нулей можно сжать в несколько бит (Hint: просто запиши сколько нулей)

Т.о., заменяя мусор на нули ты ОЧЕНЬ СИЛЬНО помогаешь архиватору, который не знает, где у тебя мусор, а где — Windows. Libastral.so ещё не придумали.

rar5 с ключиками "-hp -ma5 -m5 -md1g"

А сидеть и ждать пока жмётся 41 гб, непонятно сколько времени в пустоту совсем неохота. И упаковывается ли там, непонятно.

а придётся. Задача предсказания скорости принципиально неразрешима.

ты уже купил многопоточную память, по одной, на каждый свой процессор? Нет? У тебя одна оперативка? Тогда NoWay.

Ты что несёшь?

для тех кто в танке: задача сжатия упирается в ПАМЯТЬ. Нужно МНОГО памяти. А на твоих _ядрах_ только мизерные кеши свои, общая память — общая. Потому, даже если жать в 2 потока, один из потоков будет простаивать в очереди за доступ к памяти.

Многопоток годен тогда, и только тогда, когда ты ограничишь количество нужной памяти значением, которое равно размеру кеша одного ядра. Естественно, сжимать будет намного хуже в этом случае, но за то — быстрее.

к чему всё это?

rar5 с ключиками "-hp -ma5 -m5 -md1g"

можно посмотреть на степень и скорость сжатия в сравнении с xz?

Только пожалуйста без желтизны, реклама с подтасовкой фактов мне не интересна.

если хочешь сильное сжатие, смирись с тем, что оно будет в один поток.

По-разному, в зависимости от исходнных данных. Я не сравнивал. rar умеет в шифрование, а xz нет.

Слушай, парень. Вопрос треда был - какой архиватор лучше. Ты его видишь? Если да, то зачем писать посты в стиле капитана очевидность? Если же тебе его не видно, советую пристально проверить свой мозг на предмет повреждения и дисфункции.

архиватор и не должен поддерживать шифрование.

Я не сравнивал. rar умеет в шифрование, а xz нет.

за то gpg умеет нормальное шифрование, и умеет xz сжатие.

архиватор и не должен поддерживать шифрование.

в Windows архиватор поддерживает шифрование, в GNU/Linux шифрование поддерживает сжатие.

дядя, иди лечись. Я тебе ответил на твой вопрос: use xz.

А то, что ты хочешь дополнительно — деление на ноль, и полное невежество. Купи WinRAR, Рошал специально для таких как ты засунул туда ненужную ерунду, которая невежам типа тебя просто необходима.

Это как калькулятор в Windows, который умеет делить на ноль, и выдаёт в ответе бесконечность.

если хочешь сильное сжатие, смирись с тем, что оно будет в один поток.

lrzip же. Вполне в несколько потоков жмет.

Собрать zpaq (готовые не использовать).
Выигрыш относительно xz обычно небольшой, скорость сжатия в разы меньше.

Я что-то не уловил полет вашей мысли :3

Что именно непонятно?

у тебя на аве какая-то казашка

Может сделать дамп этого харда снова, используя Clonezilla? :) Там оно специально заточено для таких вещей, может ненужные файлы типа свопа предварительно удалить, дефрагментацию сделать и т.д