Lzip 1.3

Зачем оно, если везде уже используется lzmautils?

Непонятно главное - оно совместимо с lzma-utils, или нет?

> популярного

Не верю!

% eix -Ss lzip
* dev-ml/camlzip
     Available versions:  (1)  1.03-r1
    {ocamlopt}
     Homepage:            http://cristal.inria.fr/~xleroy/software.html#camlzip
     Description:         Compressed file access ML library (ZIP, GZIP and JAR)

+1 Только сейчас впервые про него услышал. Закапывайте обратно, уже есть lzma.

>Зачем оно, если везде уже используется lzmautils?
lzip значительно более компактная реализация lzma. Это играет роль для embedded-систем

>Непонятно главное - оно совместимо с lzma-utils, или нет?
Алгоритм один

$ lzip < lzip-1.3.tar > lzip-1.3.tar.lz
$ lzma < lzip-1.3.tar > lzip-1.3.tar.lzma
$ lzip -d < lzip-1.3.tar.lzma > lzip-1.3.tar-1
  (stdin): bad magic number (file not created by lzip).
$ lzma -d < lzip-1.3.tar.lz > lzip-1.3.tar-2
lzma: Decoder error
$

автор опоздал года на два, можно закапывать. :(

>Алгоритм один

Почитал исходный анонс в рассылке: алгоритм один, заголовки разные.

> автор опоздал года на два, можно закапывать. :(

А как размер соотносится?

>основный, идентичниым, будет реализованая

>происходить со скоростю

Это классно)

Думаю после исправления будет что-то вроде: "Дэкомпрессия происходитъ со скоростию"

> можно закапывать.

ладно, погорячился, может оно где-нибудь и пригодится, но формат lzma-utils уже довольно распространён в разных пакетных менеджерах, и вряд ли новому формату там место теперь найдётся.

хотя я был сильно удивлён, когда lzma-utils в пакетных менеджерах стали применять, несмотря на то, что на странице автора было написано, что разрабытывается версия с новым файловым форматом.

lzip и lzma-utils это как mpg123 и mad - вроде mpg123 можно закапывать, но использование так и не прекратилось.

>происходить со скоростю

Вернись в свою деревню в рязанской губернии, милок!

>Проверено: Shaman007

Уже не смешно. Может, вынуть проверялку из промежности и начать применять по назначению?

увы, не нужен т.к. не распространен, лучше бы к lzma-utils прикрутили поддержку многопоточного сжатия, а то по сиротски жмет на одном ядре


вот pbzip2 утилита достаточно полезная, хоть и не поддерживает стандартный ввод-вывод (только жмет уже готовый .tar)

Взять бы, да объединить все эти LZMA. 7zip, zip (новая версия), lzma-utils, теперь этот вот, Lzip. Кошмар!

пральна! че тут думать, взять все, да и объединить.

Первый раз о нём услышал. Этак и меня самого можно назвать популярным.

Фрактальное сжатие наше фсио!

>лучше бы к lzma-utils прикрутили поддержку многопоточного сжатия, а то по сиротски жмет на одном ядре

емнип, тогда можно будет сразу забыть про solid архивы. кроме того наполнение словаря происходит по мере чтения данных. если разбить "процесс" на куски - опять же ухудшится степень компрессии. вроде где то так.

>популярного компрессора

#urpmi lzip
нет пакета с именем lzip

Закапывайте.

Давно ищу серебрянную пулю -- быстро и сильно сжимать текстовые файлы (логи squid'a за сутки набегает под 1,5Гб)

1.   22M test.txt     -- исходный файл
2.  4.9M test.gz      -- 1.3 сек    gzip  -c test.txt > test.gz
3.  280K test.rar     -- 3.5 сек    rar a -inul test.rar text.txt (нестандартный интерфейс, умеет декомпрессию на stdout <важно!>)
4.  3.6M test.bz2     -- 6.7 сек    bzip2 -c test.txt > test.bz2
5.  236K test.7z      -- 8.5 сек    7za a test.7z test.txt  (нестандартный интерфейс, не умеет stdin/stdout)
6.  232K test.lzma    -- 14 сек     lzma -c test.txt > test.lzma
7.  232K test.lzip    -- 19 сек     lzip -c test.txt > test.lzip

перейти на rar что-ли в production?

5. 7za ...  (нестандартный интерфейс, умеет stdin/stdout)
                                     ^^^^^^^fixed

8.  3.6M test.pbz2     -- 3.6 сек    pbzip2 -c test.txt > test.pbz2 (на двух ядрах)

А что за зверь такой pbz2? Впервые слышу.

parallel bzip2 -- юзает >1 ядра, видно что время почти в 2 раза меньше по-сравнению с п.4

ага
и сделать один глобальный формат

однако не думал, что рар действительно так хорош! а я все гзип да гзип... как там у него с лицензией?

Вы что использовали в качестве исходного файла? Кусок лога?

У меня другая статистика получилась:
100M src
 36M src.7z    2:11 (это при том что использовалось 2 ядра)
 36M src.lzma  3:18
 38M src.bz2   0:37
 38M src.rar   1:21
 46M src.gz    0:17

все кроме 7z работали на одном ядре. Уровень компрессии везде дефолтный. Исходный файл - 100МБ художественной литературы (привет Мошкову) :)
К сожалению lzip в портах не обнаружил, а компилить не особо хотелось.

Упс, забыл про `compress`
100M src
 36M src.7z    2:11 (это при том что использовалось 2 ядра)
 36M src.lzma  3:18
 38M src.bz2   0:37
 38M src.rar   1:21
 46M src.gz    0:17
 53M src.Z     0:05 (отличная скорость)

>Давно ищу серебрянную пулю -- быстро и сильно сжимать текстовые файлы (логи squid'a за сутки набегает под 1,5Гб)

>1. 22M test.txt -- исходный файл

народ требует реальных зрелищ ,)

>Упс, забыл про `compress`

http://www.zlib.net/pigz/

У меня тоже на лит-ре:

334M test
66M test.bz2 1:54
92M test.gz 0:59

Правда, utf8, она посжимаемее (я так понимаю, что у теб в cp1251)

>народ требует реальных зрелищ

Долго.

Да, предыдущий тест не репрезентативный, тот test.txt не сквидовский лог

211M Dec 23 11:15 access.log
 16M Dec 23 11:23 access.log.bz2   -- 2 мин
 15M Dec 23 11:24 access.log.rar   -- 1 мин
 25M Dec 23 11:29 access.log.gz    -- 10 сек

Вывод: Остаемся с gzip'ом -- время дороже места.

> Остаемся с gzip'ом -- время дороже места.

Если время сильно дороже, может lzop?

не настолько, жмет он слабо как compress.

>Вывод: Остаемся с gzip'ом -- время дороже места.

Ещё раз: посмотри на pigz. на каждое доп. ядро CPU получишь 85-95% прировста скорости сжатия. А ещё там размер словаря настраивается.

>все кроме 7z работали на одном ядре. Уровень компрессии везде дефолтный. Исходный файл - 100МБ художественной литературы (привет Мошкову) :)

У каждого архиватора параметры по умолчанию преследуют разные цели (для кого-то важнее скорость, для кого-то сжатие) поэтому следует поиграть с параметрами или выставить всем максимальное или минимальное сжатие чтобы что-то оценить. Лично у меня 7z файл логов размером в 45Мб (больше не нашел) сжал с параметром -mx1 до размеров в 2Мб за 1сек. Других архиваторов на машине не держу, посему сравнить с чем-то еще не могу :(

Тем, кому логи надо сжимать - вы про алгоритм PPMd не слышали что-ли? 
Самый лучший сейчас алгоритм для текстов. 
Есть в 7-Zip и есть отдельная утилита ppmd.
Вот тесты, на целероне одноядерном. Логи реальные, от сквида.
71M access.log
9.5M access.log.gz -- gzip -9 -c 0m15.380s
6.4M access.log.bz2 -- bzip2 -9 -k 1m2.661s
5.5M access.log.lzma -- lzma -7 -k 7m16.627s
6.4M access.pmd -- ppmd e 0m13.630s
4.9M access2.pmd -- ppmd e -r2 -o16 -m128 0m30.600s

# eix ppmd
[I] app-arch/ppmd
     Available versions:  9.1_p10 9.1_p14
     Installed versions:  9.1_p14(14:41:34 12/23/08)
     Homepage:            http://http.us.debian.org/debian/pool/main/p/ppmd/
     Description:         PPM based compressor -- better behaved than bzip2

AUTHORS
       PPMd  was  written  by  Dmitry  Shkarin <dmitry.shkarin@mtu-net.ru> and
       Dmitry Subbotin.

Вот еще, rar идет лесом для логов:
6.7M access.rar -- rar a -inul 0m43.801s

7zip (7za 7zG) прекрасно жмет в несколько потоков, причем по сжатию обходит lzma-utils , solid

а зачем ему расширение другое? pbzip2 полностью совместим по формату с обычным bzip2

еще есть lzo (lzop)
тоже скоростной компрессор

чтобы ты мог задать глупый вопрос

Автограф дашь?

Единственный недостаток алгоритма ppmd - много памяти жрет как для компрессии, так и для декомпрессии эффективной. Но это настраиваемо. Утилитка от Шкарина не умеет выводить в stdout, но в 7zip есть своя реализация PPMd, можно им пользоваться (ключик у него какой-то есть, не помню).

> Других _архиваторов_ на машине не держу, посему сравнить с чем-то еще не могу :(

Виндузятник? Архиваторы это tar. Уж gzip и bzip2 совсем базовые компрессоры. Всякие маны иногда в gz/bz2 жмут. Следовательно должны быть в системе по-умолчанию.

> чтобы ты могла задать глупый вопрос

fixed

не впечатляет... одно ядро, жмет очень долго, lzip не нужен

$ time lzip -v kernel-27-10.tar
kernel-27-10.tar: 7.248:1, 1.104 bits/byte, 86.20% saved, 594135040 in, 81971612 out.

real 10m10.574s
user 10m7.818s
sys 0m1.352s


lzop - скорость
gzip - распространенность
bzip2 - компромисс между хорошим сжатием и временем сжатия, к тому же есть почти у всех (+ есть pbzip2)
lzma - максимум сжатия и уже успело распространиться достаточно широко

для простого архивирования - zip, 7zip

>> чтобы ты могла задать глупый вопрос
> fixed

Это кто сказал? Анонимный пластический хирург?

sdio, а еще 5 звезд.. фу

во первых - вопрос не глупый , а риторический
глупо обзывать файлы другим расширением, если они на самом деле одинаковые, картинки JPEG в гимпе тоже сохраняете как .gjpg ?

еще и с анонимусом, который кстати верно поправил, спорите.. хотя такие как вы никого кроме себя любимых наверное и не замечают