Деградация zfs, btrfs при заполнении диска

как будут обстоять дела в подобных ситуациях у btrfs?

Хороший повод проверить это. Тоже интересует этот вопрос.

какие ещё есть ФС из «комбайнов» со снапшотами, подтомами, компрессией и так далее?

Больше нет никаких.

А ZFS у меня без всяких массивов и дубликаций тормозила просто бешено на одном HDD. Кликаешь по папке с фотками и сидишь секунд 30 ждёшь, пока хард перестанет истерично биться головками.

А у меня из 1.8T занято 1.5T

Свободное место на пределе, будет тормозить. Сжатие включено?

критические данные лежат на подтоме, для которого включено дублирование данных

Это как?

как будут обстоять дела в подобных ситуациях у btrfs?

Не делай глупостей.

Свободное место на пределе

свободно 300 Гб

Свободное место на пределе

Вау. Какая прекрасная ФС.

А ZFS у меня без всяких массивов и дубликаций тормозила просто бешено на одном HDD

Какая реализация ZFS? ZOL,fuse zfs, freebsd zfs, solaris zfs? Сколько памяти было отдано ARC?

Вау. Какая прекрасная ФС.

Лучшая из доступных.

ZFSonLinux. Кэши я не настраивал, помню, что из 8 Гб оперативки было занято почти 6.

Да я вижу :DDD

Это как?

ditto blocks

Свободное место на пределе

Я бы поспорил с тем, что 20% — это «на пределе» с точки зрения пользователя.

Однако вопрос не в этом, а в том, изменилось ли что-нибудь с тех пор в zfs, или этой ФС всё так же нужно в 3 раза больше места, чем занято?

Сжатие включено?

Где как. На том подтоме, к которому самый активный I/O (которое тормозит), включено. И дублирование тоже включено.

Это как?

Свойство «copies».

Не делай глупостей.

Я как-нибудь сам разберусь. Бэкапы есть, нестабильность не страшна. Если оно будет работать лучше, чем zfs (и если у меня не появятся вдруг лишние деньги на четыре двухтерабайтника, в чём я сильно сомневаюсь) — значит, на хардах будет именно оно.

или этой ФС всё так же нужно в 3 раза больше места, чем занято?

Не нужно, свободных 20% вполне достаточно.

И дублирование тоже включено

Дедупликация?

Я как-нибудь сам разберусь.

Ок. Приятной прогулки по граблям.

Не знаю, поможет ли тебе это, но месяц был наглухо забит / в btrfs на SSD, от слова совсем. Проблем не было в этом плане.

свободных 20% вполне достаточно.

Сейчас 16%. 4% места меня спасут?

Это природа COW, что zfs, что btrfs — фрагментация растет всегда

Нашёл вот что:

The global block reserve is last-resort space for filesystem operations that may require allocating workspace even on a full filesystem. An example is removing a file, subvolume or truncating a file. This is mandated by the COW model, even removing data blocks requires to allocate some metadata blocks first (and free them once the change is persistent).

The block reserve is only virtual and is not stored on the devices. It's an internal notion of Metadata but normally unreachable for the user actions (besides the ones mentioned above). For ease it's displayed as single.

The size of global reserve is determined dynamically according to the filesystem size but is capped at 512MiB. The value used greater than 0 means that it is in use.

Но это вроде не совсем то, что вас интересует. Погуглю ещё.

Нет, SSD вообще мимо кассы: мы тут фрагментацию обсуждаем, а у SSD время доступа к данным в сравнении с хардами околонулевое.

SSD сглатывает всю тормознутость CoW-файлух. Больше интересует поведение Btrfs на HDD.

Здравствуй клоун новый год. Проблема фрагментации на hdd — «долгий» seek головок, естественно на ssd этого нет, но ssd маленькие и/или дорогие пока еще.

Нет, резервная область для CoW тут вобще ни при чём.

Ты не ответил, у тебя дедупликация включена?

А. Нет, не включена, откуда ж я столько памяти возьму.

Её, кстати, 4 GiB, из них собственно приложениями занято около гигабайта.

Её, кстати, 4 GiB

Не использовал ZFS на таком объёме памяти, так что вряд ли что то подскажу по оптимизации.

Кэши я не настраивал, помню, что из 8 Гб оперативки было занято почти 6.

У тебя, возможно, не zfs тормозила, а linux твой по swap ушами тёрся. Надо было ограничить ARC через zfs_arc_max.

А горячих данных много?

Сначала всё было хорошо. Потом ввод-вывод стал дико тормозить.

такая вот цитата. Ага сначала свопа не было, а как зфс стада тормозить, то начали искать любую причину, лишь бы не признавать проблему

Ты зфс зачем поставил? Ради ее плюшек? Если да, то цена этому память и потеря места 30% как минимум иначе ставь xfs на lvm

Не тёрся. 2 Гб свободно, там в каталоге какие-то сраные 2 тысячи фоток, и ZFS открывал этот каталог полминуты, тогда как ext4, естественно, открывает в течение секунды.

то начали искать любую причину, лишь бы не признавать проблему

Дорогой онанизмус, я в ветку зашёл не проблемы признавать, коих у меня нет, а, по мере сил, помочь ТСу советом. Признавать проблемы должны те кто их испытывают и разработчики продукта, я же zfs не разрабатываю, проблем с ней не имею и, даже ей не торгую, прикинь.

Я вот сейчас, по сети, через caja открыл папку на серваке с zfs, в которой полмиллиона файлов, секунды 3 открывалось.

на серваке

Рад за вас. Только к десктопу с одним-единственным хардом на 7200 RPM это какое отношение имеет?

Считай, один гигабайт БД sqlite3.

Да, ради сжатия и квазиотказоустойчивости в лице ditto blocks.

Окей. Видимо, у вас там всё слишком ынтырпрайзно, и отдать под ФС пару [десятков] лишних терабайт — не вопрос =)

с btrfs будет так же, 20% пустыми оставлять либо тормоза.

докупай диски, пробовать btrfs смысла нет, говорю уже по опыту, 20% свободного места на каждый подтом... иначе начинает тормозить, данные конечно не терял ещё, но работать с заторможенным ноутом проблема.

Кстати, ты вяленого тестишь? бывало такое, что как будто на win xp вернулся, когда переключаешься между вкладками с видео, задержка в 1,5-2 сек?

20% свободного места на каждый подтом

Если у меня 5 подтомов, мне нужно оставлять 100% свободного места в сумме?

в каждом подтоме 20%, не неси чушь, берёшь подтом, считаешь 20% и оставляешь. У меня система вообще на 10 подтомах.

20% от чего?

от размера подтома.

Размер подтома равен размеру всей ФС, если только не ограничен квотами. Так что так и выходит: при 5 подтомах мне нужно оставлять свободным 100% места.

Пишите ещё, вы люто доставляете.

у меня gpt, 13 разделов, 11 под линь и 2 под винду на ноуте.... на все разделы натянуты подтома.

А у меня игрушечный паровозик на конопляной тяге и барабан. Почему в Африке идут сиреневые дожди?

Можешь попробовать поставить маленький ssd под кеши, при таком размере горячих данных это разумно. Ну а от того, что нужно оставлять 20% свободного места никуда не деться.

как будут обстоять дела в подобных ситуациях у btrfs?

С btrfs придется время от времени восстанавливаться из бекапов. А когда она не крешится, может просто выдавать ошибки ввода-вывода время от времени. Ну и трейсы украшают логи.

На ZFS с подобным не сталкивался. Наверное потому что редко занимал больше чем 50%.

Кстати, по ссылке речь идет о том, как деградирует cow fs при перезаписывании участков файлов. Это немного специфичная тема, и я не думаю что это о файлопомойке.

А ОЗУ сколько?

ограниченным btrfs-хейтерам?

как будут обстоять дела в подобных ситуациях у btrfs?

Не делай глупостей.

«парень, не делай этого! все образумится, ты молодой, у тебя вся жизнь впереди»?..

и даже недалёким btrfs-юзерам

Человек, принимающий поведение zfs на своём сервере за её стандартное поведение на всех конфигурациях, что-то говорит про недалёкость. Тут просто выездная сессия «Аншлага» какая-то :DD

zfs на своём сервере за её стандартное поведение на всех конфигурациях

zfs на дескопах дома и в офисе, так что не надо грязи, не только оно на серверах. Так что лично у меня, лично на моих ПК никаких проблем с zfsonlinux нет. Если на ваших конфигах оно толком не работает, то надо либо сделать апгрейд, либо не использовать zfs, но это не повод срывать на мне свою досаду, я тут непричём. Что касается btrfs, я уже не раз объяснял свою позицию - для меня очень важны данные и я использую то, что позволяет их надёжно хранить и обрабатывать, вам же интересны технологии, вам плевать на данные, они для вас ничего не значат, вы используете btrfs. Как то так.

Что касается btrfs, я уже не раз объяснял свою позицию

Да, вы её объясняете в каждой теме про Btrfs, на моей памяти было около десятка тем про неё, и вы отметились, наверное, в каждой со своим ценным мнением :DD

Если на ваших конфигах оно толком не работает, то надо либо сделать апгрейд, либо не использовать zfs, но это не повод срывать на мне свою досаду, я тут непричём

Так и не лезьте в каждую бочку затычкой со своей zfs. Если человек хочет попробовать или использовать Btrfs, не нужно лезть ему под ноги и навязывать своё видение. Пусть попробует и сам решит, устраивает она его или нет.