Ох BTRFS, ну сколько можно

blksnap посмотри Спасибо! Надо бы его потестить

У LVM-thin проблема не в скорости (не помню уже как там со скоростью), а в размере блока, он у него 64к, это значит что на каждый чих (4к) будет писаться 64к (x16), меня это не устраивает.

Ох BTRFS, ну сколько можно

Двумя руками загребай. А то вы никак не наедитесь

Без виртуалки не вижу смысла тестировать, надо бы запустить внутри виртуалки стресс тест диска чтобы повторить проблему, а дальше уже можно будет тюнить, но это если будет время. Ядро не старое, а стабильное Debian Stable, как старое вино :)

Это 6.1.90, достаточно свежее в ветке 6.1.

В backports 6.6 лежит.

Стресс-тест диска не воспроизведёт детали поведения подсистемы, в которых может быть проблема: несколько очередей, запросы разного размера, барьеры.

Разве что если записать полный трейс и гонять его по кругу, пытаясь поймать разные результаты.

Я всё равно в кишках BTRFS копаться не собираюсь, мне главное найти способ его завалить, а дальше я расскажу разрабам как это повторить :)

А никто не говорит о том, чтобы копаться в кишках. Если ты втупую будешь грузить виртуальный диск случайной или последовательной записью, ты (скорее всего) ничего не воспроизведёшь.

… LVM … Отказался из-за чудовищно низкой скорости при наличи снапшотов

А просто поставить physical extent size в 64, 128 или 256K ты конечно не догадался?

Потому что могут :D

Пиши браузер, что в нём открыто и чем мониторил. Мы заценим.

Ты не понимаешь о чём пишешь, вот почитай https://unix.stackexchange.com/questions/203538/physical-and-logical-extents-size

LVM extent это просто виртуальный размер, который не влияет на io

blksnap посмотри

Посмотрел, не нашёл ни одной софтины которая бы делала что-либо практическое, его добавила в ядро коммерческая организация которая делает бекапы за деньги, используя это API в ядре. По описанию полный аналог dm-mapper, то есть LVM снапшотов, но без dmsetup

А я уже и дефрагментатор для неё новый написал, офигенный, который не жрёт ни диск ни SSD, но видимо не судьба.

Ну ты исходники всё-таки выложи. Вдруг ЕЁ всё же починят :)))

Это ты не понимаешь что читаешь.

Суть проблемы с LVM снапшотами в том, что место в снапшоте аллокейтится экстентами. Первая запись в каждый экстент оригинального LV стоящего под снапшотом (или в неаллоцированный экстент снапшота) приводит к копированию данных из экстента волюма в сопоставленый экстент снапшота.

При дефолтном размере экстента в 4МБ, это приводит к чтению и потом записи 4МБ (итого 8МБ), поэтому под снапшотами резко кончается полоса.

Выставляешь размер 128К и внезапно всё начинает работать нормально.

Но можешь упорствовать дальше и рассуждать о том, чего не понимаешь.

дефрагментатор для неё новый написал,

тестировал дефрагментатор на снапшотах,

данные в таблицах начали исчезать,

значит где-то баг в BTRFS.

Дефрагментация BTRFS, кто не знает, осуществляется ядром, можно только указать ему какие куски соединить. Поэтому если и есть ошибка в дефрагментаторе, то она в ядре.

ZFS, мучал около недели, как быстродействием так и оверхедом на диск не доволен, ещё RAM жрёт, а без RAM совсем печально всё. Мне не подходит, так как вся RAM отдаётся виртуалкам, хосту с ZFS ничего не останется, почти.

Какой тип нагрузки? ZFS имеет очень развитую систему кеширования. Это позволяет подобрать кеш, оптимальный для твоих задач.

Это очень древнее ядро

Предпоследний LTS, тащемта. Но я тоже 6.6 из бэкпортов стянул, ради EEVDF

Значит он не написал дефрагментатор.

Суть проблемы с LVM снапшотами в том, что место в снапшоте аллокейтится экстентами. Первая запись в каждый экстент оригинального LV стоящего под снапшотом (или в неаллоцированный экстент снапшота) приводит к копированию данных из экстента волюма в сопоставленый экстент снапшота.

Никак не влияет, я проверял, а ты просто фантазёр. Проблема с LVM в другом, она там из-за того, что каждая операция записи при наличии снапшота, приводит к 3м операциям: одному чтению, одной записи в само устройство и одной записи в снапшот, и ещё метадату наверняка пишет куда-то, эти нюансы я не знаю. В итоге скорость падает в 5 раз.

дефрагментатор для неё новый написал

анекдоты уровня /lor

Я понимаю что сложно поверить в то, что какой-то рандом из форума, с которым ты можешь пообщаться, на это способен, но это факт.

Никак не влияет, я проверял

Не знаю что ты «проверял», но у нас таких серваков с LVM больше 50 штук, на каждом за ночь делается несколько десятков снапшотов, все работает нормально.

Это не значит, что твои фантазии совпадают с реальностью, просто ты не курсе насколько сильно оно тормозит, хотя NVME сейчас такие быстрые, что это может быть незаметно. Потестируй, это же просто и сам всё увидишь: vgcreate -s 4k потом fio randwrite 4k sync=100 vgcreate -s 64k потом fio randwrite 4k sync=100 vgcreate -s 512k потом fio randwrite 4k sync=100

результаты одинаковые, снапшоты не забудь :)

Ну ты бы опубликовал код.

А мы посмотрим, комментариев тебе в панамку накидаем.

Да нет желания, вы же всё обосрёте, всё сомнению подвергнете, тут не так, там не так, как дети, а мне нужно будет вам все сопли подтирать, объяснять почему это правильно, не, спасибо, не надо.

Ты имеешь в виду дамп/бекап?

Попробуй bcachefs. Ты, похоже, человек знающий, может тебе понравится.

Попробуй bcachefs. Во, что-то новенькое, попробую, спасибо!

Небольшое обновление, прошло 2.5 месяца с момента сбоя на BTRFS, с тех пор я переустановил всё на ext4 и никаких проблем с тех пор на этом железе не было. Это для тех кто надеется, что дело было в железе, а не в BTRFS.

Сколько лет прошло, думал BTRFS довели до ума

Это не вопрос времени. Там с самого начала было очевидно, что это тупик.

Что теперь делать даже не знаю, рисковать с BTRFS больше не хочу, а других подходящих COW c онлайн репликацией снапшотами не существует …

Есть ZFS. Есть bcachefs, который пока очень молодой, но уже позиционируется как стабильный и выглядит примерно как «btrfs, но сделанный сразу правильно».

Там с самого начала было очевидно, что это тупик.

[citation needed]

ты тему не читал. он свой дефрагментатор написал и файловую систему убил, но виновата btrfs - твердо и четко

Ну хотя бы вот тут челу было очевидно: https://lwn.net/Articles/393144/

с тех пор я переустановил всё на ext4 и никаких проблем с тех пор на этом железе не было

Там и дефрагментатора твоего нет. Совпадение!

Да, не читал. Честно говоря, я как-то не заметил сперва, что её бампнули. Принял за новую.

он свой дефрагментатор написал

А зачем? Штатный чем-то не устраивал?

Edward Shishkin

Не, если ты хочешь серьёзно что-то обсудить, то давай. Но ссылки на клоунов не подойдут.

а еси BTRFS засунуть в LVM, кто из них кого сборет?

И дефрагментировать.

Сначала надежда была на сбой железа, теперь на сбой дефрагментатора, ну что тут можно сказать, риск дело благородное!

Повторюсь - дефрагментация в BTRFS работает через ядро и осуществляется кодом BTRFS в ядре, ему можно только сказать «соедини такие-то фрагменты данных», всё остальное ядро делает само. Если дефрагментация осуществляется ядром правильно, то извне невозможно ничего сломать просто передавая запросы о соединении каких-то фрагментов.

Мой дефрагментатор работал также, поэтому если сбой был из-за дефрагментации, то проблема всё-равно в самой BTRFS, которая сломала сама себя дефрагментируя саму себя.

Возможно сбой связан с дефрагментацией (но не с моим дефрагментатором), тогда советую не дефрагментировать ничего на BTRFS.

Synology так делает, если не ошибаюсь. Никаких проблем с таким сценарием нет, кроме «но зачем?» в большинстве случаев.

тогда советую не дефрагментировать ничего на BTRFS.

Только через dd и shred.

Штатный дефрагментатор очень медленный и соединяет все фрагменты, даже те, которые можно было бы не соединять без ущерба для быстродействия. Мой мало от него отличался, он просто соединял самые критические места.

Штатный дефрагментатор очень медленный

Сносом раздела всяко быстрее.

Есть bcachefs

К сожалению у него пока отсутствует функционал send/recieve необходимый для репликации

имхо не настолько важное средство.
можно обойтись обычным файловым бекапом

Да нет желания, вы же всё обосрёте, всё сомнению подвергнете, тут не так, там не так, как дети, а мне нужно будет вам все сопли подтирать, объяснять почему это правильно, не, спасибо, не надо.

Ну объясни точно так же логику, зачем создал топик? Хотел всех предупредить используя свой (анонимный) авторитет?)

Предупредить и найти альтернативу, а ты чего так возбудился?