LINUX.ORG.RU

Zstandard 1.5.4

 , , ,


0

2

После более года разработки и 650 коммитов состоялся выпуск 1.5.4 библиотеки быстрого сжатия данных и консольной утилиты Zstandard.

Улучшение производительности:

  • на 20% ускорена декомпрессия Хаффмана для архитектур, не имеющих реализации на ассемблере;
  • ускорение до 10% потоковой компрессии для уровней сжатия 1-2;
  • ускорение на 4-13% для уровней сжатия 5-12;
  • 3-11% ускорения компрессии для архитектуры arm;
  • 5-30% ускорения компрессии со словарём для уровней сжатия 1-4;
  • улучшена производительность ввода/вывода консольной утилиты zstd.

Изменения API:

  • удалено несколько расширенных экспериментальных функций;
  • поддержка декомпрессии «на месте»;
  • добавлена поддержка внешних поставщиков последовательностей;

Другие изменения:

  • улучшен man, с более детальным описанием режима --train;
  • увеличена производительность утилиты генерации однофайлового исходного текста;
  • множество улучшений в скриптах сборки;
  • улучшения консольной утилиты zstd.

>>> Подробности

★★★★★

Проверено: hobbit ()
Последнее исправление: hobbit (всего исправлений: 3)
Ответ на: комментарий от etwrq

рандомные блобы, практически тот же самый /dev/random, не?

Я не знаю. Просто отношусь ко всему как тупая блондинка. Я ж «работаю» не с /dev/random, а с файлами. Если технология №1 распаковывает мои файлы быстрее технологии №2, то я выбираю первую технологию =)

windows10 ★★★★★
()
Ответ на: комментарий от windows10

ну из man dd:
утрированно:
согласно опциям оно делает копию данных из устройства /dev/random с размером блока данных 100 мегабайт, в количестве 1 блока в выходной файл testfile в текущей директории

etwrq ★★★★★
()
Ответ на: комментарий от windows10

генерирует псевдослучайные данные для архиватора, который их архивирует и показывает оптимизацию алгоритмов, скорость сжатия и итоговый размер.
а ты зачем сюда пишешь?

etwrq ★★★★★
()
Ответ на: комментарий от etwrq

генерирует псевдослучайные данные для архиватора, который их архивирует и показывает оптимизацию алгоритмов, скорость сжатия и итоговый размер.

Зачем мне псевдослучайные данные, если я их не использую ?

Не усложняй.

windows10 ★★★★★
()
Ответ на: комментарий от etwrq

генерирует псевдослучайные данные для архиватора, который их архивирует и показывает оптимизацию алгоритмов, скорость сжатия и итоговый размер.

Качественно сгенерированные случайные данные несжимаемы.

annulen ★★★★★
()
Ответ на: комментарий от windows10

...Просто отношусь ко всему как тупая блондинка...
Если технология №1 ... быстрее технологии №2, то я выбираю первую технологию =)

Простите, пожалуйста, это не про Вас анекдот про машинистку, набирающую 1000 знаков в минуту?

AlexM ★★★★★
()
Ответ на: комментарий от annulen

Качественно сгенерированные случайные данные несжимаемы

Есть ли вероятность что в качественно сгенерированных случайных числах будет 4 единицы подряд?

pihter ★★★★★
()
Ответ на: комментарий от etwrq

Вы теорией информации не владеете? Ни один архиватор не сможет сжать рандом сколько-нибудь значительно. Архиваторы работают за счёт дедупликации данных. И нет, машинный код имеет немало регулярности в себе, поэтому достаточно неплохо сжимается. Текст на естественых языках сжимается ещё легче, а уж тем более код на языке программирования.

Вообще простейший алгоритм сжатия текста — это обратный base64, пользуясь одним тем, что большинство байтов в тексте печатные ASCII можно уже сжать файл примерно на четверть.

Xenius ★★★★★
()
Ответ на: комментарий от Xenius

Архиваторы работают за счёт дедупликации данных.

Есть ещё сжатие по словарю. Например, если vmlinuz добавить в словарь. То сжиматься оно будет в один, несколько байт. В зависимости от реализации.

thegoldone ★★
()
Ответ на: комментарий от thegoldone

Это и есть дедупликация. То есть слово vmlinuz встречается несколько раз, а записано в одном месте — в словаре.

По крайней мере, я это и имел ввиду.

Xenius ★★★★★
()
Ответ на: комментарий от pihter

Есть ли вероятность что в качественно сгенерированных случайных числах будет 4 единицы подряд?

Начинать надо с того, насколько адекватна реальности вероятностная модель…

А распределение можно взять любым, приняв его за «норму».

i_am_not_ai
()
Последнее исправление: i_am_not_ai (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.