LINUX.ORG.RU

Прозрачное сжатие Btrfs при помощи Zstd по умолчанию в Fedora 34

 , ,


0

3

В десктопных спинах Fedora, уже сейчас использующих по умолчанию файловую систему Btrfs, планируют по умолчанию включить прозрачное сжатие данных при помощи библиотеки Zstd от Facebook. Речь идёт о будущем релизе Fedora 34, который должен появиться в конце апреля. Помимо экономии дискового пространства прозрачное сжатие данных так же призвано уменьшить износ SSD и прочих флеш-накопителей. Кроме того, ожидается прирост в производительности при чтении и записи.

Использование прозрачного сжатия будет иметь влияние и на работу некоторых утилит, таких как du, поскольку размер файла может существенно отличаться от занимаемого им дискового пространства. В качестве альтернативы предлагаются к использованию утилиты вроде compsize.

>>> Подробности



Проверено: Shaman007 ()
Последнее исправление: cetjs2 (всего исправлений: 5)
Ответ на: комментарий от Sylvia

Да знаю я про compsize, но как минимум не нравится, что нужен рут. Почему — понятно, но от этого не лучше.

anonymous
()
Ответ на: комментарий от anonymous

без рута только такой вариант


$ dd if=/dev/zero of=file bs=4M count=1024
1024+0 записей получено
1024+0 записей отправлено
4294967296 байт (4,3 GB, 4,0 GiB) скопирован, 2,94015 s, 1,5 GB/s



$ df -h
Файловая система       Размер Использовано  Дост Использовано% Cмонтировано в
...
/dev/loop1                16G         2,9M   16G            1% /var/tmp/portage



но тут тоже не сходится, 2.9 М против 128 М от compsize

Sylvia ★★★★★
()
Ответ на: комментарий от intelfx

Интерфейс stat() не рассчитан на ФС с прозрачным сжатием.

Вот. И непонятно, почему его не хотят расширить немного. Это даже API не сломало бы, но в таком случае понадобится поддержка в утилитах.

Костыль — это скорее то, что сделали в ZFS.

С точки зрения ядра — да. С точки зрения пользователя — нет, работает как ожидается, не нужны сторонние утилиты для оценки степени сжатия.

anonymous
()
Ответ на: комментарий от Sylvia

Требование рута не настолько не нравится, чтобы искать альтернативы :) Это просто кривовато, ну что ж.

anonymous
()
Ответ на: комментарий от Sylvia

спасибо

просто спонсировали ... ФБ первыми.

FB тут несколько непричем,

а если сложить 2 и 2, то случайно выйдет 4. я что, один смотрю презенташки от FB на тему Fedora и FB? да уже с выхода centos 7 я вижу постоянный закономерный тренд, что Fedora выкатывает фичи, которые в первую очередь хватает FB.

crypt ★★★★★
()
Ответ на: комментарий от AVL2

Лично меня раздражает ее неумеренное потребление памяти

это настраивается, но откуда такому иксперту знать

страшно иметь дело с этакой вещью в себе.

как будто бтрфс нитакая

anonymous
()
Ответ на: комментарий от intelfx

причем маленькая поправочка: под «проспонсировали», она, видимо, имеет ввиду «приняли на должность Tech Lead of Data Compression». а в остальном все верно.

https://www.youtube.com/watch?v=jl9ncLcMlVY

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от crypt

Не вижу в этом никакой проблемы. Почему у тебя каждый раз настолько явно подгорает и включается желчно-циничный режим, как только речь заходит о том, что компания X приложила руку к фиче Y в дистрибутиве Z?

Зачем считать чужие деньги? Вне зависимости от того, кто кого проспонсировал, кто нанял чьих разработчиков и чья личная/корпоративная выгода замешана в происходящем, результат один и тот же.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от intelfx

я сейчас выскажу чисто личное мнение и просто отвечу на твой вопрос, не для большой дискуссии. у Facebook достаточно специфический юзкейс по применению ОС общего назначения. вообще в этом нет ничего плохого. линукс на то ли линукс. проблема начинается в тот момент, когда вместо создания своего собственного facebook linux (по аналогии с интелловским clear linux) они в содружестве с RH начинают на основе своего достаточно узкого юзкейса определять стандарт для _всего_ линукса. _всех_ дистрибутивов. Debian не имеет ни малейшего отношения к Фейсбуку, например. я не имею ни малейшего отношения к фейсбуку. я никогда в жизни не админил такие масштабы и уже вряд ли буду. у меня другой юзкейс. и я не понимаю, почему линукс из просто general OS стал high load lennart oriented cluster muster shuster based.

вот примерно так. но особенно меня раздражают люди типа этого новенького хаммера или как его? и сильвии, которые не понимают общую логику разработки.

crypt ★★★★★
()
Ответ на: комментарий от hummer

болела:( но так то ж для intelfx.) его я помню, когда он «маленький был» и технические ошибки на лоре допускал. а сейчас вон, умный стал:) меня уже на срач с ним не хватает.=)

crypt ★★★★★
()
Ответ на: комментарий от hummer

я думал, лор специально сделали для срачей :-/ ну да, я сюда прихожу, когда не могу делать ничего более продуктивного. онлайн общение - это так... фикция.

crypt ★★★★★
()
Ответ на: комментарий от hummer

А ты сюда ради срачей приходишь, спокойной общаться с людьми тебе недостаточно?

да, причем я еще и регулярно путаю, где оказался: в токсах или в новостях (когда соображаешь не очень, сложно уследить). к счастью, мордераторы (не знаю, что за они, но они здесь есть) сами следят, чтобы я был в правильном разделе и присылают уведомление, что мол вы не в том разделе, минус... как его... этот... скор, во! а какие-то невидимые гремлены этот скор потом обратно мне в профиль подсыпают. так что вот в общем, да, так и живем.:)

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от crypt

короче, ты нью федор юзер. недавно перешел с винды. так?

Почти. Пользовался Linux Mint несколько лет назад, ещё раньше были попытки использования других систем, например RedHat 5.x (если помнишь такие), прочих линуксов, FreeBSD. Упомянутый тобой Clear Linux от Intel тоже пробовал. Хороший дистрибутив, но к сожалению не поддерживает более старые версии пакетов. Например сейчас у них Python 3.9 и установить его более старую версию официально невозможно.

Тебя это раздражает?

hummer
() автор топика
Ответ на: комментарий от crypt

я думал, лор специально сделали для срачей

Ну старый LOR действительно был таким, однако время идёт, LOR уже должен был повзрослеть.

hummer
() автор топика
Ответ на: комментарий от hummer

LOR уже должен был повзрослеть.

а толку? вон шаман как был оболтусом неграмотным, таким же и остался. только теперь на зарплате и с понтами. у меня только хуже характер стал. твое взросление вообще не имеет особо отношения к пообщаться. я сейчас перевод, условно говоря, о культуре XVIII века делаю. с кем прикажешь это обсуждать? не линукс же на десктопе называть общением.

не думаю, что рунет когда-нибудь изменится.

Упомянутый тобой Clear Linux

тоже на десктопе что ли? нафига... короче, развлекаешься.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 2)
Ответ на: комментарий от crypt

а толку? вон шаман как был оболтусом неграмотным, таким же и остался. только теперь на зарплате и с понтами.

Попросись в корректоры или тебя Шаман туда не пускает? Всё таки LOR не про русскую словестность и посещается не только россиянами.

я сейчас перевод, условно говоря, о культуре XVIII века делаю. с кем прикажешь это обсуждать?

С посетителями профильных сайтов, форумов и прочих площадок.

не линукс же на десктопе называть общением.

На сайте про Linux, почему нет? Вот например ты принёс сюда свою «теорию заговора» Facebook и проекта Fedora. Как твоя теория сочетается с тем фактом, что Btrfs является файловой системой по умолчанию лишь на десктопных спинах Fedora 33+?

hummer
() автор топика
Ответ на: комментарий от hummer

Попросись в корректоры

зачем?

профильных

еще б они были

почему нет?

потому что неинтересно

Вот например ты принёс сюда свою

«например» - вводное слово, две запятые

не про русскую словестность

однако он русскоязычный

теорию заговора

не я теорию заговора принес, а ты вчера из яйца вылупился. если бы ты занимался им каждый день в полном объеме, то и сам был бы в курсе.

Btrfs является файловой системой по умолчанию лишь на десктопных спинах Fedora 33+?

раньше не использовали. сейчас обтестируют на таких, как ты.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 4)
Ответ на: комментарий от crypt

Попросись в корректоры

зачем?

Затем, что тебя это раздражает.

профильных

еще б они были

Думаю, что ты просто плохо искал, хотя согласен с тем, что скорее всего их гораздо меньше линуксоидных.

почему нет?

потому что неинтересно

Вот например ты принёс сюда свою

«например» - вводное слово, две запятых

Но придираться к запятым тебе интересно. Запишись уже в корректоры. ;-)

не про русскую словестность

однако, он русскоязычный

Что не делает его тетрадкой для диктантов и прочих экзаменов.

теорию заговора

не я теорию заговора принес, а ты вчера из яйца вылупился. если бы ты занимался им каждый день в полном объеме, то и сам был бы в курсе.

Это конечно же очень серьёзный довод.

Btrfs является файловой системой по умолчанию лишь на десктопных спинах Fedora 33+?

раньше не использовали. сейчас обтестируют на таких, как ты.

Её уже давно обтестировали. А такие как я могут тихо перейти на другую файловую систему после первой же серьёзной проблемы с Btrfs. Например если регрессию в 5.10 не исправят и в таком виде завезут 5.10 в Fedora 33+.

hummer
() автор топика
Ответ на: комментарий от hummer

Думаю

Её уже давно обтестировали.

ты слишком много думаешь без каких бы то ни было оснований. это меня раздражает.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от crypt

ты слишком много думаешь без каких бы то ни было оснований. это меня раздражает.

Тебе придётся с этим жить. Крепись! ;-))

hummer
() автор топика
Ответ на: комментарий от crypt

Значит и раздражаться тебе тоже необязательно. Голова ещё болит?

hummer
() автор топика
Ответ на: комментарий от ugoday

Очевидно от железа зависит кто кого сборет.

И от загрузки процессора

anonymous
()
Ответ на: комментарий от Thero

Да это не фаиловая система это емкость что то типа архива

anonymous
()

Прозрачное сжатие Btrfs при помощи Zstd по умолчанию в Fedora 34

А данные то это не испортит?

Как-то получал битые tar.lzo
Быстро определил, что причина — перегрев CPU. Новые алгоритмы сильнее греют процессор по сравнению с gzip.

Ссылка сообщение в теме

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 2)
Ответ на: комментарий от torvn77

Очевидно, что подобный перегрев CPU бывает только при разгоне, и любители оного знают (нет), на что идут. Перегрев в штатных условиях данные не испортит.

anonymous
()
Ответ на: комментарий от anonymous

У меня такое было, но вот только разгоном ЦПУ я не занимался, по этому я не думаю что к повреждению данных при расчётах высокоэффективными алгоритмами можно относится беспечно.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

У меня такое было, но вот только разгоном ЦПУ я не занимался

Значит что-то другое было сломано. Кривое железо у пары васянов — не повод кому-то от чего-то отказываться.

anonymous
()
Ответ на: комментарий от torvn77

Как это позволяет исключить кривое железо? У меня всё было нормально на разогнанном Ryzen, а конкретно Python собирался с ошибками в тестах. Мне что, следовало вместо отключения ручного разгона заменить Python на, я не знаю, Perl, и подобно тебе ругать неправильный код питона? Улавливаешь мысль?

anonymous
()
Ответ на: комментарий от torvn77

Во-первых, мало ли ты что там ещё мог накрутить. Я тоже как бы не разгонял, просто прочитал предупреждение и зафиксировал частоту буста на той отметке, которая в спецификации указана как максимум. Не подумал, что простой xz, которым тестировал стабильность, не создаёт достаточной нагрузки, а более продвинутые инструкции вызывают критический перегрев за доли секунды.

Во-вторых, в Btrfs были вроде баги с компрессией, по крайней мере с какими-то алгоритмами. Это не значит, что они есть сейчас. Веских причин верить твоему anecdotal evidence без ссылки на твой багрепорт в LKML у меня нет.

anonymous
()
Ответ на: комментарий от anonymous

Я не включаю буст шин.

В принципе если учесть что развитые ФС пишут под сервер, частота и тепловыделение одного ядра на которых ниже, чем у десктопных, то вполне возможно что эти ФС и всякие алгоритмы могут сбоить на десктопе частота ядер у которого выше сервера в полтора или два раза.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от anonymous

20 тонн логов

а зачем это вообще нужно? сжимаемые файлы, как правило, занимают совсем немного места на диске. львиную долю занимают те, которые и так уже сжаты: музыка, видео, картинки.

$ compsize /mnt Processed 1898352 files, 170576011 regular extents (170576011 refs), 1045 inline. Type Perc Disk Usage Uncompressed Referenced TOTAL 46% 9.3T 20T 20T none 100% 4.4G 4.4G 4.4G zstd 46% 9.3T 20T 20T

anonymous
()
Ответ на: 20 тонн логов от anonymous

[code]$ compsize /mnt Processed 1898352 files, 170576011 regular extents (170576011 refs), 1045 inline. Type Perc Disk Usage Uncompressed Referenced TOTAL 46% 9.3T 20T 20T none 100% 4.4G 4.4G 4.4G zstd 46% 9.3T 20T 20T [/code]

anonymous
()
Ответ на: комментарий от anonymous

Поменяй разметку с маркдауна на лоркод или вместо тегов код используй три апострофа.

Behem0th ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.