зачем ты пишешь херню?

Чот никак.

У меня на проде с raid 10 nvme полет нормальный, видимо так крутили

Да , теперь этим ко-ко-ко будут затыкать оппонетов на ЛОРе

ZFS - Ненужно! Это жалкий завистник.

Ахахах, т.е. этому жирному монстру нужно куча оперативки и raid из nvme, чтобы не тормозить?

Шутка получилась совсем не шуткой

любая лазейка может и будет использована

Вообще-то ZFS и есть уровня тыртырпрайза. Я, конечно, сомневаюсь в безопасности ZoL, но на Linux выбора-то и нет. ☺

юзайте ZFS на BSD

Не на всех *BSD есть ZFS.

А зачем нужна дедупликация на уровне ФС?

Потому что она работает на блочном уровне. Вообще может и есть какие-то альтернативы этому, но я ни разу не видел чтобы это делалось прозрачно, то же самое со сжатием. В общем ждем когда в XFS это всё добавят

Я, конечно, сомневаюсь в безопасности ZoL, но на Linux выбора-то и нет

Теперь его и на BSD нет, потому что BSD использует ZoL)))))

А на COW ты, типа, не упрёшься?

Дядя, ты же понимаешь о чем говоришь? зачем ты сравниваешь задницу и палец?

это настолько адовая некомпетентность, что я бы автора такой инновации помошником дворника брать бы не стал,

пошел переход на личности. Не все файлы - документы. Все, «давай, до свидания» , «гений» софистики.

Ахахах, т.е. этому жирному монстру нужно куча оперативки и raid из nvme, чтобы не тормозить?

Можно подумать с твоей хваленой btrfs ситуация другая, бгг

Я вот лет 10 использую XFS и на сервере и на десктопе. Проблем вроде никаких не было ттт. Но диски у меня без всяких рейдов и т.п.

Посматриваю на Btrfs (пару лет назад думал перейти, но не стал). Можно ли её уже на сервер или лучше подождать ещё года 2-3 ?

Объёмы данных небольшие - 2-4 ТБ.

Конечно другая, у меня Btrfs на обычном десктопе прекрасно работала.

А вот когда я поставил на десктоп ZFS, я впервые увидел, как каталог с жалкими несколькими тысячами фоточек открывается 40 секунд. Действительно, такая уникальная фича никакой Btrfs и не снилась))

Дядя, ты же понимаешь о чем говоришь?

Естественно. А ты понимаешь, как работают снэпшоты?

Не все файлы - документы

Давай, показывай реальный пример ситуации , когда файл потерялся, потому что не было ежеминутной копии.

Пусть те, кто эти проблемы создал, и заботятся о них

Двояко вещаешь, ибо Oracle не пихает ZFS в Linux. Соответственно, она и проблем Торвальдсу и Ко никаких не создала. Получается, проблемы создал пласт пользователей самого Linux, использующих или желающих использовать ZFS. Т.е. озаботиться «этими проблемами» ты предложил именно им? Тогда вопросов нет.

Т.е. озаботиться «этими проблемами» ты предложил именно им?

Ну да, логично.

я не про уровень энтерпайза, а про лицензию и оракловские «манеры»

или это всё выдумки, потому что ты их не замечаешь?

А вот когда я поставил на десктоп ZFS, я впервые увидел, как каталог с жалкими несколькими тысячами фоточек открывается 40 секунд.

Какой конфиг десктопа?

потому что BSD использует ZoL

• Не на всех *BSD есть ZFS;
• В FreeBSD 13-CURRENT (по-вашему — devel-ветка) поставляется сторонним портом, и то в качестве экспериментальной альтернативы.

дедупликацию, её нет

Она есть. Оффлайновая. Для инлайновой нужно дохера памяти, поэтому в апстрим не берут, но есть патч out-of-tree.

Core i7, 8 Гб оперативки, ssd intel, hdd seagate

про лицензию

С каких пор в тыртырпрайзе с этим проблемы?

оракловские «манеры»

Так-то да.

Про оффлайновую я знаю, но это не сильно подходит для ситуации если сервер перегружается достаточно редко. Проблемы потребления памяти, когда у тебя 512 GiB RAM отходят как-то на второй план :D

Я юзаю [btrfs] на ssd. Убийств не наблюдается.

А давно юзаешь? У меня вот btrfs на ssd где-то год. Посмотрел смарт, там сказано, что записано 10 терабайт за это время. Это 28 гигов в сутки получается. Я, если что, торренты на ssd не качаю. И, несмотря на это, подозреваю, что если продолжится в том же духе, то btrfs выжжет весь ресурс ssd гораздо раньше, чем я предполагал.

Ты сам смотрел, сколько всего на ssd за сутки пишется?

Я 5 лет юзал

Я подобрал ближайший по смыслу общеизвестный уровень RAID, чтобы не вдаваться в детали.

C raid там только одно сходство - переживает потерю одного диска (если рассматривать raidz1 и raid5)

Cказал бы, что это raid3 или raid4, но записывающий блоки в неизвестном порядке, да еще данные при записи разбиваются на неизвестное количество блоков. И, вообще, это хрен знает что, и неизвестно почему это работает.

А raid’ы все имеют регулярную структуру.

С каких пор в тыртырпрайзе с этим проблемы?

предлагаешь начихать на лицензии и пилить? :)

считать хеши и дедуплицировать одинаковые файлы через cp –reflink

Вообще-то уже есть тул, дедуплицирующий на уровне экстентов. https://btrfs.wiki.kernel.org/index.php/Deduplication

Но какой ценой?

Борг умеет монтировать бэкапы, например, в случае разваливающегося хранилища это даже предпочтительнее будет.

https://borgbackup.readthedocs.io/en/stable/usage/mount.html

А давно юзаешь?

с 2016-го

Ты сам смотрел, сколько всего на ssd за сутки пишется?

нет

А я от Linux…

Тоже вариант

Линус - сноб.

Зато FreeBSD не отказываются от поддержки бинарной совместимости GNU/Linux много десятков лет и больше десятка лет CDDL/ZFS и это не вызывает проблем на фоне в миллион раз меньшего финансирования.

хорошо, что ещё фак не показал. :-)

как нвидии

Любое средство инкрементального бэкапа?

ты меня шутишь? Каждые 5-10 минут? Это невозможно.

Борг пробегает по моей полутерабайтной помойке за полторы минуты.

Можно ли её уже на сервер или лучше подождать ещё года 2-3 ?

btrfs у меня работает года полтора, брат жив. Но у меня нештатных выключений компа почти не бывает. Если ты смелый и дерзкий — попробуй её. Если не очень то почитай для начала wiki и багрепорты, не знаю как сейчас, но по слухам в былые времена она имела свойство самопроизвольно превращаться в тыкву

P.S. если задачу можно решить кондовым ext4 и заднице нет шила, то нафиг все эти эксперименты

Я 5 лет юзал [btrfs]

И до сих пор используешь? Посмотри, пожалуйста, в smart, интересно, что скажет sudo smartctl -a /dev/

Борг умеет монтировать бэкапы,

мой тезис заключается в том, что на любой бэкап надо время, на snapshot в ZFS время не нужно, там нет операций. Этого достаточно, чтобы перестать сравнивать бэкапы с snapshot в COW. Это разные вещи.

А на COW ты, типа, не упрёшься?

Если мы говорим о процессе создания снепшота, то не упрусь, там нет процессов записи на диск.

Спасибо.

У меня раз в год примерно бывает неожиданное отключение, поэтому btrfs не вариант пока. Хотя возможность проверить чексуммы блоков данных выглядит заманчивой… Данные мне важнее производительности (нагрузки копеечные). Останусь на XFS.

241 Total_LBAs_Written -O–CK 099 099 000 - 64075656484

Лицензии и патенты — это привилегия для одних и риски для всех остальных. Линус все правильно сделал.

По лицензионным причинам, Линус, разумеется, прав.

Но говорить «все бенчмарки, которые я видел - не впечатляют» и «как я понимаю, ZFS уже даже толком не сопровождается» без захода на https://github.com/zfsonlinux/zfs - это как-то не похоже на Линуса. Стареет мужик...

Нет, я потом обратно на ext4 переехал.

Сейчас этот ssd в таком состоянии:

SMART info:
      4 Start_Stop_Count          =        0 
      5 Reallocated_Sector_Ct     =        0 
      9 Power_On_Hours            =    42753 [h]
     12 Power_Cycle_Count         =     1684 
    225 Host_Writes_32MiB         =   33.191 [TB]
    232 Available_Reservd_Space   =      100 [%]
    233 Media_Wearout_Indicator   =       90 [%]
    241 Host_Writes_32MiB         =   33.191 [TB]

Это при том, что на нём ещё своп-раздел был все эти годы))

Стареет мужик…

Может, это был дипломатический ход, чтобы заставить Оракл сделать GPL?

Рпкомендую:

tlp-stat -d

А ведь глобальная и надёжная ФС, ничего не скажешь))

Но если файлы меняются, то идёт запись на все снэпшоты и IO будет ничуть не меньше. А если файлы не меняются, то 1) нахера так часто делать снэпшоты?, 2) при такой частоте содержимое каталогов будет в кэше и на обход дерева много IO не потребуется.

Использую Btrfs на десктопе и сервере. NVMe, SATA SSD, SATA HDD, с dm-crypt и без. Неожиданные отключения случаются +/- раз-два в месяц, ни одна ФС не сломалась, не пропало ни одного файла. Естественно, есть резервные копии (локальные тоже на Btrfs), так что даже если что случится — не страшно.

YMMV.

Но с другой стороны - разве это все не должно подключаться в ведро через какой-то «интерфейс»? Почему именно в ядре должна быть какая-то особенная реализация чтоб еще одна ФС поддерживалась?

На практике не работает. Чтоб разработать нормальный, производительный интерфейс плагина обычно нужно знать, что этот плагин будет делать и как будет устроен. Т.е. можно разработать интерфейс под существующие реализации файловых систем, но он не подойдёт для будущих.

Например, когда bcachefs пытались смержить в апстрим, выяснилось, что автору понадобился особый лок, в котором кроме shared/exclusive есть третья блокировка intent, которая не позволяет другие intent и exclusive блокировки, но позволяет shared и может быть переключено в exclusive. Торвальдс в ответ предложил просто добавить это третье состояние в существующий примитив. Т.е. идея неплохая, но до bcachefs никому не была нужна.

На чем такое еще можно организовать?

Очевидно, на btrfs.

У меня раз в год примерно бывает неожиданное отключение, поэтому btrfs не вариант пока

Заметь, я не говорил что btrfs как-то особенно чувствителен к падению питания. У меня нет никакой информации на этот счёт

И что? Ты хоть почитал баги, описания и комментарии или просто открыл ссылку?