LINUX.ORG.RU

Создатель bcachefs: текущая ситуация с ФС в Linux и привлечение денег на развитие проекта

 , ,


7

8

Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:

  • ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.
  • XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания для всех остальных. XFS имеет классическую архитектуру: update-in-place, а не copy-on-write. Поэтому множество продвинутых функций в рамках этой ФС реализовать проблематично или просто невозможно.
  • btrfs: ФС разрабатывалась под Linux как ФС следующего поколения, «наш ответ ZFS». Но она разрабатывалась на скорость, без проработки архитектуры. Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.
  • ZFS: Эта ФС показывает людям то, что они могут получать от copy-on-write ФС, но ФС живёт и развивается вне Linux, и на Linux она не ориентирована. Из технических особенностей: в отличие от остальных современных ФС, ZFS имеет block-based архитектуру вместо extent-based (сделано для упрощения реализации снимков на уровне ФС).


Как видно, ситуация с файловыми системами в Linux оставляет желать лучшего, что же предлагает Kent? bcachefs уже сегодня — это:

  • copy-on-write POSIX-совместимая ФС.
  • Нижний слой ФС реализован на базе стабильного и оттестированного годами проекта bcache. Файловая система (при текущем наборе функций) уже стабильна и протестирована на хранении 50 ТБ+ данных. С момента первого анонса было выявлено лишь несколько мелких ошибок. Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой.
  • Высокая скорость работы. Со времени апрельских тестов производительности были сделаны оптимизации. В bcachefs хорошо отработан tail latency, практически отсутствуют блокировки потоков на вводе-выводе.
  • Простой и понятный исходный код. Текущий исходный код меньше по объёму, чем ext4, но уже содержит большинство функций btrfs.



Таким образом, проект bcachefs готов к ограниченному использованию уже сейчас, но реализация части функций требует спонсирования. Текущий статус основных функций:

  • Хеш-суммы: реализовано на 100%, по умолчанию — crc32c.
  • Сжатие: реализовано (LZ4, gzip). Но не доделан подсчёт свободного места, поэтому сжатие пока не приводит к увеличению свободного места.
  • Работа поверх нескольких устройств, включая кэширующие устройства (tiering): уже работает, но требуется тестирование и отладка.
  • Репликация: сделано на 80%.
  • Коды избыточности (Reed-Solomon, наподобие RAID 5/6): не начато.
  • Шифрование: не начато.
  • Снимки (snapshots): уже в процессе. Они будут иметь ряд приемуществ над традиционными снимками: значительно меньшие потери производительности и свободного места.
  • И другие.

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц. Сейчас все расходы на развитие ложатся на кошелёк Кента.

>>> Подробности

★★★★★

Проверено: JB ()
Последнее исправление: Klymedy (всего исправлений: 17)
Ответ на: комментарий от zloelamo

iscsi в энетерпрайзе просто умер

и когдайто ?

anonymous
()
Ответ на: комментарий от shahid

проект bcachefs готов к ограниченному использованию уже сейчас

Через 10-15 лет может быть до рабочего состояния допилят.

Skullnet ★★★★★
()
Ответ на: комментарий от King_Carlo

Кстати мысль, надо Лёне предложить написать ФС в рамках systemd.

воу воу паринь потише!!!1

targitaj ★★★★★
()
Последнее исправление: targitaj (всего исправлений: 1)

git clone -b bcache-dev https://evilpiepirate.org/git/linux-bcache.git

омг, там целое ядро лежит. Ну нет же чтобы сделать как сторонний модуль, надо прямо в ядро alpha quality фигачить. Ага, вот прямо сейчас качну его ядро и попробую у себе, нуну

vertexua ★★★★★
()
Последнее исправление: vertexua (всего исправлений: 2)
Ответ на: комментарий от DeadEye

Так себе зарплатка. Но оно и ясно — в офис Кент ездить не будет, сиало быть и расходы существенно меньше.

anonymous
()
Ответ на: комментарий от hateyoufeel

что в IRC-канале zfsonlinux почти каждый день кто-то ноет что ОПЯТЬ ФСЁ СЛАМАЛОСЬ!!!111

Не надо ходить по irc-каналам и ничего не будет ломаться.

King_Carlo ★★★★★
()
Ответ на: комментарий от anonymous

ext4 работает

Ну мало ли что у кого на лоуалхосте с LA0 работает. Чувак про прод говорил.

anonymous
()
Ответ на: комментарий от zloelamo

Разве что мультирут вещь полезная оказалась, но это не киллер фича все же. В результате он как раз в говнонасах и закрепился.

что за мультирут? В двух словах.

targitaj ★★★★★
()
Ответ на: комментарий от ZenitharChampion

С соседней ноды с xfs. Гугл, в отличие от «серьезного бизнеса», покупает x86 commodity hardware и презрительно смотрит на всё остальное. Но оно и понятно — им не бумажка нужна, чтобы задницу сертификатом прикрыть, а реальную работу делать.

anonymous
()
Ответ на: комментарий от King_Carlo

Шишкин носитель истины в последней инстанции

Мало кто, наверное, таки сподобился сесть и разобраться в матчасти, вместо того, чтобы доверяться авторитету. Если ключи переменной длины, то b-tree-подобные структуры не обязательно деградируют. Достаточно просто делить блок примерно пополам по суммарному месту, занимаемому ключами. Ну и размер блока должен быть много больше максимального размера ключа. Из-за чего там в Btrfs деградировало дерево — это надо разбираться с лупой.

anonymous
()
- Эй, Рейзер!
- Чего?
- На выход, Рейзер! 
- Уже? 
- Там какой-то Кент уплатил за тебя вагон денег, так что будешь ему теперь отрабатывать. 
ncrmnt ★★★★★
()
Последнее исправление: ncrmnt (всего исправлений: 1)

вообще, хорошая файловая система становится хорошей через десятки лет после рождения
мы все помним, что сначала появилась ext2, потом ext3, ext4
и эти события разделены большими временными промежутками
в них положены миллионы комитов, тысячи людей приложили к этому руку
вы посмотрите свежий список последних комитов в бтрфс
там сотни людей

хорошая файловая система не рождается просто так
приходит волшебник, щелкает пальцем - и опаньки ?
так не бывает

kto_tama ★★★★★
()
Ответ на: комментарий от chaos_dremel

Скорость сжатия там отличная (больше чем у lzo), если не юзать режим HC.
если не юзать режим HC.

Именно.

andreyu ★★★★★
()
Ответ на: комментарий от anonymous

У меня по матану было 4, но заявления Шишкина не перестают быть болтовнёй.

Сомневаюсь, что если Шишкин подробно обоснует свои мысли, то хотябы 1% посетителей ЛОР поймет вообще о чем речь.

dmxrand
()
Ответ на: комментарий от targitaj

мне ext4 хватает для корня. А тебе какие фичи zfs нужны в корне? Что собрался применять?

Мне ext4 хватает для всего. Но при чем тут мое мнение?

andreyu ★★★★★
()
Ответ на: комментарий от targitaj

что за мультирут? В двух словах.

Я не знаю как она правильно называется: когда одна фс монтируется в несколько точек. Т.е. как бы у фс несколько верхних, корневых директорий.

zloelamo ★★★★
()
Ответ на: комментарий от dmxrand

Вот сначала пусть обоснуёт, а потом посмотрим. На LKML он только юлил и пальцы гнул, старательно уходя от конкретики.

anonymous
()
Ответ на: комментарий от umka

Не хами ему, он хоть и пятизвездочный, но адекватный...

DeadEye

★★★★★ с 06/17/16, корректор с 05/18/16

использование наркоманского стиля записи даты — признак адекватности?..

Sahas ★★★★☆
()
Ответ на: комментарий от andreyu

Ты уже забыл?

В убунту 16.04 zfs уже поставляется «из коробки», так что zfsonlinux уверенно завоёвывает своё место.

Для / можно использовать? (c) andreyu ★★★★★

targitaj ★★★★★
()
Ответ на: комментарий от anonymous

Пока скажем так:

1) Шишкин пальцы гнул? Гнул.

2) Кен гнет? Гнет.

Большинство радуются ZFS и XFS....

Отсюда я делаю вывод - не все так хорошо в датском королевстве... Да и рейзер был очень хорош одни "..." это было уже круто.

dmxrand
()
Ответ на: комментарий от targitaj

это стиль загнивающей америки, не путай :)

Sahas ★★★★☆
()

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц.

Может лучше побег Ганса из тюрьмы профинансируем?

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от DNA_Seq

Да вроде он говорил, что ИТ его больше не влечет... Он там толи в квантовую физику подался толи еще какие там опыты в тюрьмах разрешены?

dmxrand
()
Ответ на: комментарий от targitaj

Подробностей толком не помню. Случилось это с Scientific 7.1 месяца 4 назад. Я просто несколько раз нарывался на xfs проблемы последний год и не очень помню какая конкретна была фатальной.

Нарывался на https://www.centos.org/forums/viewtopic.php?t=52412, на XFS-WANT-CORRUPTED-GOTO, хотя она вроде исправлена ещё в 2010, а потом в 2014 вторично, а вот ошибку которая стала фатальной я походу подзабыл.

zloelamo ★★★★
()
Последнее исправление: zloelamo (всего исправлений: 1)
Ответ на: комментарий от zloelamo

Точно не для энтерпрайза: он там нафиг не уперся.

Осталось понять что ты называешь энтерпрайзом.

Все эти снепшоты, сжатие, шифрование, отлично делаются на аппаратных массивах, которые как раз в энтерпрайзе и распространены.

Я так понял ты долго в банке работал, это другая история, там всё регламентировано по самые помидоры, да и когда ты живёшь на ссудном проценте, фактически ничего делая, то можно играть в «энтерпрайз» за любые деньги.
Но есть нормалный энтерпрайз, в том числе с zfs на дешёвых HBA, соотношение польза/цена у такого энтерпрайза сильно выше.

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Но есть нормалный энтерпрайз

Ну давай, раскажи про «нормальный» энтерпрайз. И я не в банке работаю, но опыт работы с нормальным железом у меня большой.

zloelamo ★★★★
()
Ответ на: комментарий от andreyu

хорошо, пусть не твоё мнение. С какой целью вообще делать zfs в корне? Зачем? Вот выше упоминали про какие-то плюшки в соляре. А в линуксе зачем? Рут - это 5-10 гиг файлов ОС. Ничего больше в руте не нужно. Какие плюшки следует применять к файлам ОС? Обновляться снапшотно?

targitaj ★★★★★
()
Ответ на: комментарий от targitaj

Рейзер4 почти готова. Причем в статусе «почти» находится уже 10 лет. А тут какая-то новая непонятная фс, которая должна стать вроде как новой рейзер4. Вот только станет ли? Считаем - 12 тыс в год, 120К суммарно. Недорого, но если поделить на вероятность взлета скажем 10% (а это очень много) выходит уже 1.2 ляма.

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от dmxrand

Я понял хитрый план. Я всё думал почему на android'ном коллайдере образовалась дыра в другое измерение, а это Ганс Рейзер пытается убежать через фрактальную червоточину

anonymous
()
Ответ на: комментарий от DNA_Seq

это не ответ на вопрос. Где и как он будет жить в современном мире после побега? В Южной Америке? В джунглях Африки? В тайге РФ?

targitaj ★★★★★
()
Ответ на: комментарий от zloelamo

Ну давай, раскажи про «нормальный» энтерпрайз.

Например, integros делал систему показа потокового видео для yandex, в системах хранения только zfs.

опыт работы с нормальным железом у меня большой

С каким железом и в какой сфере?

King_Carlo ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.