LINUX.ORG.RU

Создатель bcachefs: текущая ситуация с ФС в Linux и привлечение денег на развитие проекта

 , ,


7

8

Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:

  • ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.
  • XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания для всех остальных. XFS имеет классическую архитектуру: update-in-place, а не copy-on-write. Поэтому множество продвинутых функций в рамках этой ФС реализовать проблематично или просто невозможно.
  • btrfs: ФС разрабатывалась под Linux как ФС следующего поколения, «наш ответ ZFS». Но она разрабатывалась на скорость, без проработки архитектуры. Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.
  • ZFS: Эта ФС показывает людям то, что они могут получать от copy-on-write ФС, но ФС живёт и развивается вне Linux, и на Linux она не ориентирована. Из технических особенностей: в отличие от остальных современных ФС, ZFS имеет block-based архитектуру вместо extent-based (сделано для упрощения реализации снимков на уровне ФС).


Как видно, ситуация с файловыми системами в Linux оставляет желать лучшего, что же предлагает Kent? bcachefs уже сегодня — это:

  • copy-on-write POSIX-совместимая ФС.
  • Нижний слой ФС реализован на базе стабильного и оттестированного годами проекта bcache. Файловая система (при текущем наборе функций) уже стабильна и протестирована на хранении 50 ТБ+ данных. С момента первого анонса было выявлено лишь несколько мелких ошибок. Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой.
  • Высокая скорость работы. Со времени апрельских тестов производительности были сделаны оптимизации. В bcachefs хорошо отработан tail latency, практически отсутствуют блокировки потоков на вводе-выводе.
  • Простой и понятный исходный код. Текущий исходный код меньше по объёму, чем ext4, но уже содержит большинство функций btrfs.



Таким образом, проект bcachefs готов к ограниченному использованию уже сейчас, но реализация части функций требует спонсирования. Текущий статус основных функций:

  • Хеш-суммы: реализовано на 100%, по умолчанию — crc32c.
  • Сжатие: реализовано (LZ4, gzip). Но не доделан подсчёт свободного места, поэтому сжатие пока не приводит к увеличению свободного места.
  • Работа поверх нескольких устройств, включая кэширующие устройства (tiering): уже работает, но требуется тестирование и отладка.
  • Репликация: сделано на 80%.
  • Коды избыточности (Reed-Solomon, наподобие RAID 5/6): не начато.
  • Шифрование: не начато.
  • Снимки (snapshots): уже в процессе. Они будут иметь ряд приемуществ над традиционными снимками: значительно меньшие потери производительности и свободного места.
  • И другие.

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц. Сейчас все расходы на развитие ложатся на кошелёк Кента.

>>> Подробности

★★★★★

Проверено: JB ()
Последнее исправление: Klymedy (всего исправлений: 17)
Ответ на: комментарий от dmxrand

что тебе надо объяснять? Что не нужно делать ОС с 30-тью вынесенными в отдельные разделы целевыми директориями? Какого ты вообще здесь делаешь, если тебе это надо объяснять?

targitaj ★★★★★
()
Ответ на: комментарий от vtVitus

Думаю он и железные технологии хорошо потребляет.

Ну потребляют дофига. Айпады покупают например пачками. Это не значит, что от этого инфраструктура становится ЛУЧШЕ. Скорее дачи и машины ответственных за закупки.

dmxrand
()
Ответ на: комментарий от targitaj

Да зачем? На локалхосте например. Или серваке с 10 клиентами. Потом очень весело наблюдать когда на system свободно 1TB, а home и /var/log забиты и система падает....

dmxrand
()
Ответ на: комментарий от vtVitus

Ничего смешного нет. Это типичная история. Начиная с 3-4 уровня сотрудники только и ищут гдеб, что продать или купить.

dmxrand
()

И чтоб совсем было смищно не я один говорю, что в банках нет спецов. Энтерпрайз - такой энтерпрайз.... https://habrahabr.ru/post/304768/

dmxrand
()
Ответ на: комментарий от Legioner

APFS ориентирована на макбуки и часы с ssd. Система может и хорошая, но для линукса не очень годится.

Было бы замечательно, если бы вы пояснили почему))

anonymous
()
Ответ на: комментарий от dmxrand

Что «зачем»? Ппц, дядь, ты вообще не шаришь. Несешь какую-то пургу. Под конкретные директории как раз потому и выделяют отдельные устройства, что их можно заменить на более ёмкие. По необходимости. Ну или расширить существующие. Смешно ему. Планировать научись. Прогнозировать объёмы. Проводить работы по расширению по плану. Короче, что ты вообще в ИТ забыл?

targitaj ★★★★★
()
Ответ на: комментарий от zloelamo

Совокупную стоимость владения надо считать для каждого конкретного случая, не исключаю, что иногда, железный шкаф от «от очень важного производителя» может быть выгоднее.
Но, к «хорошему оборудованию» нужны сертифицированные на эту железку админы, которые тоже не 3 копейки стоят и их мало. Для поддержки freebsd я выйду на улицу, спрошу пять прохожих и двое из них смогут держать фрю и всю инфраструктуру.

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Для поддержки freebsd я выйду на улицу, спрошу пять прохожих и двое из них смогут держать фрю и всю инфраструктуру.

Lol! Кстати, ты не хочешь в банке работать? Я серьёзно, могу подкинуть вакансию с фряшкой. Мне предлагали недели две назад, я перекрестился и сказал идите нах.

zloelamo ★★★★
()

305 баксов нанищебродили по копеечке.
Утром было сто с чем-то.
Показательно, что конторы и корпорации, которым это нужно в первую очередь, ровно сидят на задницах.

shahid ★★★★★
() автор топика
Последнее исправление: shahid (всего исправлений: 1)

Автор мечтает о «своей персональной армии».

anonymous
()
Ответ на: комментарий от aim1159

zfs - не ориентирована на linux

Это такая мантра новая?

King_Carlo ★★★★★
()

. Серьёзные проблемы с качеством исходного кода,

за годы там что-то испортили? Пусть сей господин покажет мне этот кусок исходного кода

anonymous
()
Ответ на: комментарий от DeadEye

три тыщи - совсем не дофига. наверное он будет работать не на полную ставку.

AndreyKl ★★★★★
()
Ответ на: комментарий от ism

Чувак походу решил поступить как создатель reiserfs, в одиночку создать бэт мобиль, только вот проекты с одним разработчиком долго не живут

reiserfs писался целым офисом, Ганс только руководил и выколачивал баблос.

lenin386 ★★★★
()
Ответ на: комментарий от anonymous

APFS ориентирована на макбуки и часы с ssd. Система может и хорошая, но для линукса не очень годится.

Было бы замечательно, если бы вы пояснили почему))

Например потому, что Linux должен уметь работать с крутящимися дисками; например потому, что эти диски могут возвращать не те данные, которые на них записали и этот факт желательно детектировать (то бишь хранить контрольные суммы).

Нет, для определённых приложений APFS наверняка хорошо подойдёт. Например для ноутбуков с SSD. Будет хорошо, если её качественно портируют. Но это не ФС общего назначения.

Legioner ★★★★★
()
Последнее исправление: Legioner (всего исправлений: 1)
Ответ на: комментарий от targitaj

Под конкретные директории как раз потому и выделяют отдельные устройства, что их можно заменить на более ёмкие. По необходимости. Ну или расширить существующие. Смешно ему. Планировать научись.

Не учи ученого. Это в МТС я был подключен к хранилищу по multipath. И если надо мне перенарезали луны и я даже на ходу переключался. Но 1 мтс даже по сумме вложений не сравнить с массой средних и малых контор.

Если ты НЕ ПОНИМАЕШЬ КАК работают люди, то сначала попробуй понять.

Обычно берут комп из DNS например и на 1 терабайте разворачивают файлопомойку. Хорошо если о рейде подумали (хотя он иногда не спасает). Вот нарезал ты разные директории, а завтра в конторе переворот и отделы поменяли... Хорошо если ты по LVM создал дополнительные девайсы и оттюнинговал. Но за 18 т.р. яб сделал 1 раздел и 1 винт с зеркалом и бэкапом на какойнибудь сетевой диск за 5 т.р.

Так, что снапшоты и шифрование даже в телефоне могут быть полезны.

dmxrand
()
Ответ на: комментарий от King_Carlo

Совокупную стоимость владения надо считать для каждого конкретного случая, не исключаю, что иногда, железный шкаф от «от очень важного производителя» может быть выгоднее.

При мне купили новый «шкаф». Был EMC^2 а купили IBM. И знаешь что? EMC^2 был не сломан, а IBM был не больше.... Он был того же размера. НО. Это не HDD там надо платить лицензию за год и IBM+Лицензия был дешевле чем Лицензия на EMC^2....

dmxrand
()
Ответ на: комментарий от zloelamo

Мне предлагали недели две назад, я перекрестился и сказал идите нах.

Так иди к нам. У нас все круто. Винда, хранилища IBM понтов как у Маска. Только приготовься маршировать строем, орать хайль и 90% времени заполнять в HP DeskView таски и писать SLA подписывая их у ребят которые приехали на мерседесе в костюме за 5000$ и которые глядя на тебя всем видом показывают какое ты дерьмо.

dmxrand
()
Ответ на: комментарий от lenin386

reiserfs писался целым офисом, Ганс только руководил и выколачивал баблос.

Ну Ганс вообще, то участвовал в проектировании. И там вроде Military неплохо башляли..... Я не помню была статья про ФС в танках Абрамс...

dmxrand
()
Ответ на: комментарий от Legioner

Но это не ФС общего назначения.

Ну может для разных физических устройств имеет смысл разные бэкэнды или действительно разные FS. Я как развлекался. Брал SSD+HDD. На SSD пихал EXT4 без журнала, а на HDD EXT4 с журналом. И потом через UNION-FS это все настраивал, где приоритет записи на HDD.... В итоге можно делать apt-get upgrade и все такое прочее... А раз в год из бэкапа накатывал рут с основными (/usr/bin....) каталогами на SSD.

Что характерно Это намного проще чем те, же пляски в винде, где одних temp пачка.

dmxrand
()
Ответ на: комментарий от targitaj

С какой целью вообще делать zfs в корне? Зачем? Вот выше упоминали про какие-то плюшки в соляре. А в линуксе зачем?

Зачем вы задаете этот вопрос мне?

Рут - это 5-10 гиг файлов ОС. Ничего больше в руте не нужно.

640 Кб хватит всем. Ок.

Какие плюшки следует применять к файлам ОС? Обновляться снапшотно?

Силюсь понять, чего вы от меня хотите?

andreyu ★★★★★
()
Ответ на: комментарий от anonymous

Щас Apple выкатывает APFS, она открытая. Запилить в эти ваши линуксы и норм.

Нафига это говно в Linux?

Вы эту ФС еще не видели, но уже решили что она говно? Вам баба Ванга об этом сказала?

andreyu ★★★★★
()

ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.

Эмм... по другим ФС такая же желтизна, как и по этой?

А, и рейзер не упомянут умышленно?

hobbit ★★★★★
()
Ответ на: комментарий от DeadEye

Кто-то правда будет это спонсировать?

Думаю, да. Не так уж и много, и он дело говорит.

atrus ★★★★★
()

По описанию, конечно, мега-круто звучит. Правда в прошлогоднем анонсе вроде как то же самое было описано, так что я так и не понял, чем именно он целый год занимался full time.

zabbal ★★★★★
()
Ответ на: комментарий от shahid

Она не COW

опа-ля, а XFS и ext4 у нас, значит, COW?

anonymous
()
Ответ на: комментарий от cetjs2

Ведь те же снапшоты можно и с использованием сторонних утилит сделать или с помощью LVM.

Можно. Но производительность и накладные расходы - цена хороших абстракций. lvm ничего не знает о fs, по этому будет копировать экстенты, т.е. привет оверхед. ecryptfs хорош, но шифрует всё устройство, хотя обычно достаточно лишь отдельные каталоги /home.

Современная схема красива и линейна, но испытывает проблемы сходные с классическим деревом наследования в ООП. Всё хорошо, пока ты не пытаешься решить более сложные задачи, вроде надёжного шифрования отдельных каталогов или сжатия отдельных файлов. Система оказывается слишком сложной и не модифицируемой, не позволяя тебе сделать то, что нужно.

Решением может стать, как и в ООП - инверсия зависимостей. Только один объект (файловая система) будет заниматься размещением блоков на устройстве (ведь это её основная задача), а остальные - станут её подсистемами, как плагины, которые начал делать Рейзер в своей raiser4.

Только с унифицированным интерфейсом, чтобы подходили ко всем fs. В конце концов тут нет ничего невозможного, ведь fs в любом случае работает с блоками.

atrus ★★★★★
()
Ответ на: комментарий от fornlr

Щас Apple выкатывает APFS, она открытая.

А лицензия нормальная или как у zfs?

zabbal ★★★★★
()
Ответ на: комментарий от gnomosek

Акция сбора бабла, как мне кажется.

На третий день Зоркий Глаз заметил...

zabbal ★★★★★
()

чем этот copy-on-write так лучше? что он до него докопался?

Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.

Вий, ержент позовите вия ержента.

darkenshvein ★★★★★
()
Ответ на: комментарий от With

его уже можно ресайзить в хвост и в гриву? оно уже не обнуляет файлы при внезапном ребуте?

darkenshvein ★★★★★
()
Ответ на: комментарий от kirk_johnson

потеря производительности в лучшем случае в два раза.

суперкеш не панацея, а возможная потеря данных

darkenshvein ★★★★★
()
Ответ на: комментарий от sudopacman

Не могу гарантировать, но похоже это то, что ты хочешь. readonly с поломанной FS а запись на хорошую. Правда что будет если сломается поломанная я плохо понимаю. надо почитать UnionFS умеет при отказе одной ФС читать с резервной. Но заикаться будет даже если может.

dmxrand
()
Ответ на: комментарий от Skullnet

Поттеринг 2.0

Как будто что-то плохое. Леннарт plumbing layer наконец-то в приличный вид привёл. Авось этот Кент то же самое с ФС сделает, а то как reiser4 затих - сплошное уныние.

zabbal ★★★★★
()
Ответ на: комментарий от King_Carlo

Шишкин носитель истины в последней инстанции.

А хорошо бы Эдуард запилил похожую страницу для reiser4 - авось и насобирал бы на доведение до ума и апстрима.

zabbal ★★★★★
()
Ответ на: комментарий от kirk_johnson

Оно есть, работает и оттестировано вдоль и поперёк на херовой куче кейсов. Болячки известны, workaround'ы тоже.

Не вижу смысла менять рабочее решение (хоть и неидеальное) на поделие какого-то очередного Д'Артаньяна.

anonymous
()
Ответ на: комментарий от darkenshvein

чем этот copy-on-write так лучше? что он до него докопался?

Модно, молодёжно. Часто на слуху. Значит денег больше дадут.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.