LINUX.ORG.RU

Создатель LZ4 представил механизм сжатия ZSTD

 , ,


1

3

Zstd (сокращение от Zstandard) — новый алгоритм сжатия без потерь, сочетающий высокую степень сжатия и огромную скорость, подходящий для повседневных нужд, то есть таких, которые не требуют предельного сжатия (как у LZMA или ZPAQ) или предельной скорости (как у LZ4).

Программа распространяется под лицензией BSD и доступна на github.

Так, на процессоре Core i5-4300U с частотой 1.9 GHz новый алгоритм обеспечивает скорость сжатия в 201 Мб/сек при коэффициенте 2.872, и скорость распаковки на уровне 498 Мб/сек.

По словам автора, скорость сжатия может достигать 200 Мб/сек на ядро, распаковки — 500 Мб/сек на ядро, в зависимости от конфигураций. Более подробную информацию можно найти по ссылке ниже.

>>> Подробности



Проверено: Shaman007 ()
Последнее исправление: unfo (всего исправлений: 1)

Сам пакую lz4 до 300гб в день - 2 часа против 5 часов gzip. При этом степень сжатия примерно одинаковый. Буду побывать с новым.

anonymous
()
Ответ на: комментарий от Meyer

Мимо, к моменту перехода арча на systemd я уже полгода точно (или год?..) его пользовал и был совершенно доволен. Так что поумерьте, сударь, свой изобличительский пыл.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от anonymous

Что поделать — агрессивно безграмотные люди есть везде. Здесь нечему удивляться.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от MahMahoritos

Не, даже ноборот. Алгоритм-то беспоттерный. Но ты нибаись. Лёнка вскорости запилит ZSYSD для поттерного сжатия текстовых ини и бинарных логов. Вот тогда "... в любую точку Вселенной - фьюить! - за пять секунд.".

anonymous
()
Ответ на: комментарий от haku

Автор пытается доказать, что у него лучше соотношение сжатие/затраты относительно других алгоритмов. Есть случаи, когда скорость на сжатие критичнее потери 10% места.

Shaman007 ★★★★★
()

Главные особенности компрессора добавить надо:
- FSE instead of Huffman as entropy !!
- unbounded match size
- repeat offset ability

GAMer ★★★★★
()
Ответ на: комментарий от Turbo_Mascal

Нет такого слова в русском языке

в твоём нет, а в моём есть, как хочу, так и верчу языком

Alyssa
() автор топика
Ответ на: комментарий от intelfx

У сабжа скорость распаковки 498 Мб/сек при степени сжатия 2.872, а у LZ4_HC 2080 Мб/сек при степени сжатия 2.72. Ниша для применения сего поделия исчезающе узкая получается. Степени сжатия различаются на ~5% а скорости аж в 4 раза. При нынешних гигабайтах памяти и террабайтах дисков остаются всякие холодильники-кофеварки, но даже там уже к мегабайтам подбираются.

A-234 ★★★★★
()
Ответ на: комментарий от Pinkbyte

Всё-таки пока xz меньше, но скоро, скоро...

.../distfiles $ ls -l *.gz | wc -l
26698
.../distfiles $ ls -l *.bz2 | wc -l
10842
.../distfiles $ ls -l *.xz | wc -l
21761

Stage1 ★★
()
Ответ на: комментарий от intelfx

Для сжатия дистрибутивов программ и их исходных текстов важна скорость распаковки а сколько времени вы свой дистрибутив готовите конечного пользователя не волнует. Упаковка initrd туда-же. Думал это и так очевидно.

A-234 ★★★★★
()
Ответ на: комментарий от mittorn

Да, скоро это будет весьма актуально.

Meyer ★★★★★
()
Ответ на: комментарий от A-234

Ты точно отвечаешь на тот комментарий?

Note: я ничего не говорил насчёт конкретных алгоритмов сжатия.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 2)
Ответ на: комментарий от Turbo_Mascal

Нет такого слова в русском языке

А мне это слово нравится.

proud_anon ★★★★★
()
Ответ на: комментарий от kostik87

Слова «беспотерьный» нет

1. Не факт. Где словарь всех-всех слов русского языка? Он вообще существует? Или это только ваше личное мнение?

2. Слово вполне соответствует правилам словообразования русского языка и потому имеет право на жизнь. Так что ошибок нет, есть только ваше личное предвзятое мнение.

anonymous
()
Ответ на: комментарий от AVL2

Исходники ваши лежали здесь

Теперь нет их частично

Утрата печальна

Ну и хрен с ними
Я новые напишу
Ещё лучше

Исходник живой.
Немного лишь магии.
О, Меркуриал.

anonymous
()
Ответ на: комментарий от intelfx

В данном случае речь не о стандартах, стандартный вон gzip. А вот например внутри серверов баз данных или ФС можно использовать нестандартный алгоритм, главное хороший для решаемых задач

vertexua ★★★★★
()
Ответ на: комментарий от anonymous

но мы тут в НИИ ожидали реактивных 2.6953466118!

unt1tled ★★★★
()
Ответ на: комментарий от anonymous

«Слово вполне соответствует правилам словообразования русского языка»

4.2 Не может быть мягкого знака между двумя согласными. Это не монгольский язык.

anonymous
()
Ответ на: комментарий от anonymous

«1. Не факт. Где словарь всех-всех слов русского языка? Он вообще существует? Или это только ваше личное мнение?

2. Слово вполне соответствует правилам словообразования русского языка и потому имеет право на жизнь. Так что ошибок нет, есть только ваше личное предвзятое мнение.»

Вообще беру слова про 4.2 обратно, слово «беспотерьный» есть в словаре:

http://dic.academic.ru/dic.nsf/eng_rus/21196/беспотерьный

anonymous
()
Ответ на: комментарий от anonymous

Не может быть мягкого знака между двумя согласными. Это не монгольский язык.

монгольский

это победа

Alyssa
() автор топика
Ответ на: комментарий от anonymous

Как слышу, так и пишу!

Перьмь

AVL2 ★★★★★
()
Ответ на: комментарий от Alyssa

«это победа»

«Монгольский» не образовано от слова с «ь» на конце, так что расслабься.

anonymous
()

Твою мать, что хотел сказать автор новости? Парсер разорвало. У этого «безпотерьного» (пздц!) алгоритма вообще нет никаких преимуществ? Судя по новости он по скорости медленнее и по эффективности сжатия хуже. Нафига он тогда нужен? Какую мысль хотел донести человек, который подбирал и компоновал слова и эпитеты (огромный, предельный) по одному ему понятному смыслу?

anonymous
()
Ответ на: комментарий от Alyssa

в твоём нет, а в моём есть, как хочу, так и верчу языком

Как хочешь, так и вертишь языком ты в заднице у Ашота - твоё право. А тут иногда грамотные люди попадаются, и выпячивать и кичиться собственной безграмотностью совсем необязательно.

anonymous
()
Ответ на: комментарий от anonymous

А тут иногда грамотные люди попадаются

ты к ним не относишься

Alyssa
() автор топика

«Беспотерьный» - это неологизм, образованный формально правильно, но фактически мертворожденный. Вроде ничему не противоречит, но читается со скрежетом зубовным.

Фтопку такие неологизмы.

DRVTiny ★★★★★
()
Ответ на: комментарий от anonymous

А тут иногда грамотные люди попадаются,

Тут чаще граммотные попадаются всё же.

anonymous
()
Ответ на: комментарий от A-234

А ты скорость сжатия смотрел? Или поглядел только на разжатие? Ниша у него вполне ясная, где надо быстро сжимать и быстро разжимать, для передачи по сети каких-нибудь тяжёлых формируемых в настоящем времени данных очень даже подходит. Есть некоторая конкуренция с LZ4 r127, но никак не с LZ4 HC.

EvilFox ★★
()
Последнее исправление: EvilFox (всего исправлений: 2)
Ответ на: комментарий от DRVTiny

В чём проблемы чтения? Скорее дело привычки.
Хотя то, что согласно последних реформ «З» в приставках РАЗ, БЕЗ, ВОЗ, ИЗ заменяется на «С» с глухими согласными, меня давно раздражает.

EvilFox ★★
()
Последнее исправление: EvilFox (всего исправлений: 1)
Ответ на: комментарий от EvilFox

Это был ответ на пост выше, причем тут передачи по сети? В природе уже 100G сети существуют, что за данные вы передавать хотите да еще и без потерь :) Конкуренция ему, для сети, QuickLZ и LZO. А ваша «некоторая конкуренция» - это увеличение скорости в два раза при потери в компрессии на четверть. Как я и говорил, ниша исчезающе маленькая.

A-234 ★★★★★
()

Какой милый тред - детектор чурок, не осиливших своей полуизвилиной мощь русского словообразования и шарахающихся от всего необычного. Болезные.

anonymous
()
Ответ на: комментарий от DRVTiny

Большинство на этом форуме больно фобией всего нового в терминальной стадии. Ты не исключение.

anonymous
()

ага, всё-таки «беспотерьный» исправили, лол, стадо невежд таки продавило своим бугуртом

Alyssa
() автор топика
Ответ на: комментарий от anonymous

«Сильно больной. Печально.»

Иди в опу. Я уже поправился.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.