LINUX.ORG.RU

Создатель bcachefs: текущая ситуация с ФС в Linux и привлечение денег на развитие проекта

 , ,


7

8

Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:

  • ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.
  • XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания для всех остальных. XFS имеет классическую архитектуру: update-in-place, а не copy-on-write. Поэтому множество продвинутых функций в рамках этой ФС реализовать проблематично или просто невозможно.
  • btrfs: ФС разрабатывалась под Linux как ФС следующего поколения, «наш ответ ZFS». Но она разрабатывалась на скорость, без проработки архитектуры. Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.
  • ZFS: Эта ФС показывает людям то, что они могут получать от copy-on-write ФС, но ФС живёт и развивается вне Linux, и на Linux она не ориентирована. Из технических особенностей: в отличие от остальных современных ФС, ZFS имеет block-based архитектуру вместо extent-based (сделано для упрощения реализации снимков на уровне ФС).


Как видно, ситуация с файловыми системами в Linux оставляет желать лучшего, что же предлагает Kent? bcachefs уже сегодня — это:

  • copy-on-write POSIX-совместимая ФС.
  • Нижний слой ФС реализован на базе стабильного и оттестированного годами проекта bcache. Файловая система (при текущем наборе функций) уже стабильна и протестирована на хранении 50 ТБ+ данных. С момента первого анонса было выявлено лишь несколько мелких ошибок. Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой.
  • Высокая скорость работы. Со времени апрельских тестов производительности были сделаны оптимизации. В bcachefs хорошо отработан tail latency, практически отсутствуют блокировки потоков на вводе-выводе.
  • Простой и понятный исходный код. Текущий исходный код меньше по объёму, чем ext4, но уже содержит большинство функций btrfs.



Таким образом, проект bcachefs готов к ограниченному использованию уже сейчас, но реализация части функций требует спонсирования. Текущий статус основных функций:

  • Хеш-суммы: реализовано на 100%, по умолчанию — crc32c.
  • Сжатие: реализовано (LZ4, gzip). Но не доделан подсчёт свободного места, поэтому сжатие пока не приводит к увеличению свободного места.
  • Работа поверх нескольких устройств, включая кэширующие устройства (tiering): уже работает, но требуется тестирование и отладка.
  • Репликация: сделано на 80%.
  • Коды избыточности (Reed-Solomon, наподобие RAID 5/6): не начато.
  • Шифрование: не начато.
  • Снимки (snapshots): уже в процессе. Они будут иметь ряд приемуществ над традиционными снимками: значительно меньшие потери производительности и свободного места.
  • И другие.

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц. Сейчас все расходы на развитие ложатся на кошелёк Кента.

>>> Подробности

★★★★★

Проверено: JB ()
Последнее исправление: Klymedy (всего исправлений: 17)
Ответ на: комментарий от DNA_Seq

Угумс. А не лучше ли тогда заняться и добиться улучшения условий его содержания в тюрьме? Чтобы и срок шел и работать мог.

targitaj ★★★★★
()
Ответ на: комментарий от cetjs2

Но нет, принципы KISS забыты и возникает из-за этого куча ошибок...

KISS не укладывается в современную экономику. А вот жизненный цикл ПО, от рождения через баги к звёздам и умирание - да.

Deleted
()
Ответ на: комментарий от KRoN73

Ну я всё-таки не понимаю, как можно на основе шутки, которая реализует кеширование данный одного устройства на другом, сделать ФС?

sudopacman ★★★★★
()
Ответ на: комментарий от King_Carlo

А чего прям такого хорошего в btrfs именно для ssd?

Я не знаю, вот и спрашиваю. Я один из тех кто почитал про него и решил пощупать, в домашнем использовании пока ничего не сыпалось и не терялось.

unixnik ★★★★★
()

По btrfs таки да, глючная, у меня несколько раз сносило данные

А вот на ext4 пусть не гонит, проверенная вещь с продуманными опциями.

Чувак походу решил поступить как создатель reiserfs, в одиночку создать бэт мобиль, только вот проекты с одним разработчиком долго не живут

ism ★★★
()
Ответ на: комментарий от ism

только вот проекты с одним разработчиком долго не живут

Потому что, если они открытые и интересные, в них приходят другие разработчики? К чему этот пост?

Ivan_qrt ★★★★★
()
Ответ на: комментарий от andreyu

Кем оттестированного

Мной, например. Несколько лет сижу на 2х партишенах бкэша, кэшируемых 64гб ссдшником. Проблем не было. За это время пару раз вручную убивал один из разделов и один раз установщик винды снёс раздел на кэширующем ссдшнике, всё без проблем восстановил, данные не потерялись.

anonymous
()
Ответ на: комментарий от King_Carlo

делал систему показа потокового видео для yandex,

Это не тот энтерпрайз. Это интернет: совсем другие условия. Действительно и гугл и яндекс способны создавать и использовать подобные системы, поскольку они IT компании.

А например банк, завод, страховая, сеть магазинов, да даже провайдер этим заниматься не станут. Они поставят себе IBM Storewize или что-то подобное, подтащат стек приложений с тех сапортом и будут этим пользоваться ибо это проще.

zloelamo ★★★★
()
Ответ на: комментарий от unixnik

Я не знаю, вот и спрашиваю.

Я тоже не знаю, на ssd любая ФС реактивная. Наверное имелось ввиду, что cow-fs на ssd не тормозят, это да, чистая правда.

King_Carlo ★★★★★
()
Ответ на: комментарий от targitaj

Пытались сразу после посадки. Судья ему комп не разрешил. Чай не Брейвик.

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от zloelamo

Это не тот энтерпрайз.
поскольку они IT компании.

Ну конечно, энтерпрайз с самой большой капитализацией - не тот энтерпрайз.

банк

да

завод

Если завод с госдолей >50% то да.

сеть магазинов

Эти жлобы городят вообще всё своё IT из говна и палок.

страховая

не встречал, не знаю

да даже провайдер

мой хороший знакомый хозяин регионального провайдера, freebsd+zfs в качестве стораджей во все поля.

King_Carlo ★★★★★
()
Последнее исправление: King_Carlo (всего исправлений: 1)
Ответ на: комментарий от targitaj

Дело в том, что ты приходишь например в турагенство (или например к ребятам которые кораблич чинят) и там 10 лет назад был поставлен сервак и на нем 1 (ОДИН) раздел. Данных прилично и полный бэкап будет делаться сутки. Я бы не отказался от снапшота. ДА и вообще запихнул бы его в крон, чтобы бухгалтер не вопила «КТО УДАЛИЛ 1С».

Шифрование. Собственно в одном пенитенциарном учреждении лейтенант на ходу вытащил винт и продал его на рынке.... А там были ВСЕ данные ЗК.

Да и снапшоты на домашнем хранилище от шифровальщиков великолепно помогают.

dmxrand
()
Ответ на: комментарий от targitaj

Чтобы и срок шел и работать мог.

А потом надзиратели почитают его переписку в LKLM, а там «сплошные идиоты, вам бошки пооткручивать чтоб не несли фигню»

dmxrand
()
Ответ на: комментарий от ism

Чувак походу решил поступить как создатель reiserfs, в одиночку создать бэт мобиль, только вот проекты с одним разработчиком долго не живут

Вот тут полностью согласен - надо проверить жена у него русская или нет. Если да, то мне кажется он хочет к Гансу попасть.

dmxrand
()
Ответ на: комментарий от King_Carlo

Дело не в капитализации, а в том, что это IT компания в которой много технических специалистов. Яндекс может себе позволить любую свежую технологию. Если технология не ахти, они кинут на это дело 10-20 программистов и допилят до нужного состояния. Банк себе этого позволить не может по целому ряду причин (Сбертех не берем в расчет - это руский ад, как он есть). Возможности Гугл вообще безграничны с точки зрения свежих решений.

Кроме того банку просто не интересно ковырять с такой ерундой, как файловая система, он просто купит на рынке то что есть. А вот сделать толковую аналитическую систему (на подобии IBM Watson) это то на что будут потрачены серьёзные усилия, поскольку именно это является возможно очень прибыльным.

На заводах по-прежнему востребованы мейнфреймы, а местами так и вообще ibm360. И не только в России. Там точно никому не нужна ферма для потокового видео.

zloelamo ★★★★
()
Ответ на: комментарий от fornlr

Щас Apple выкатывает APFS, она открытая. Запилить в эти ваши линуксы и норм.

Нафига это говно в Linux?

anonymous
()
Ответ на: комментарий от King_Carlo

мой хороший знакомый хозяин регионального провайдера

Я как раз из той фирмы, которая помогает таких провайдеров покупать и интегрировать в большие провайдеры. Пока провайдер мелкий там может быть все что угодно, поскольку на это есть время и люди, как только провайдер растет, все это исчезает и заменяется на нормальное железо и подключается к большому центральному биллингу.

zloelamo ★★★★
()
Ответ на: комментарий от dmxrand

и там 10 лет назад был поставлен сервак и на нем 1 (ОДИН) раздел

и на этом одном разделе zfs стоит (из будущего). Его туда поставил терминатор, который слетал в прошлое чтобы на этом сервере поставить один раздел с zfs из будущего чтобы в настоящем бла бла бла чтобы вся цепь событий привела в будущем к победе роботов. Слава роботам!

Остальной бред каментить лень.

targitaj ★★★★★
()
Последнее исправление: targitaj (всего исправлений: 1)
Ответ на: комментарий от zloelamo

Сбертех не берем в расчет - это руский ад, как он есть

Че это сбертех не в счет? Еще как в счет набрать кучу программеров Oracle/IBSO и начать их переучивать в Java программистов. Это дикий вин я считаю. Большей шизофрении надо еще поискать.

А вот сделать толковую аналитическую систему (на подобии IBM Watson) это то на что будут потрачены серьёзные усилия, поскольку именно это является возможно очень прибыльным.

Только некому ее там делать. Тот кто может уже работает на иностранные компании и не пишет отчеты в DeskView или SLA (тыжпрограммист ага)

dmxrand
()
Ответ на: комментарий от zloelamo

Ага и IPv6 НЕ БУДЕТ НИКОГДА! Это маленький пров еще мог развернуть IPv6 чтоб кусочек откусить.... А большому переводить ВСЮ инфраструктуру... Так динозавры и умерли.

dmxrand
()
Ответ на: комментарий от targitaj

и на этом одном разделе zfs стоит (из будущего).

Мы говорим о сейчас. Чтобы через 10 лет можно было не прыгать с бубном.

dmxrand
()
Ответ на: комментарий от zloelamo

Вообще-то началось с того, что ты споткнулся об термин «энтерпрайз». Очевидно, что IT-шный энтерпрайз ничуть не менее энтерпрайзный, чем в банках, заводах, пароходах.

банку просто не интересно ковырять с такой ерундой, как файловая система

Эту фразу я должен понимать как признак полного отсутствия технических специалистов в банке?

King_Carlo ★★★★★
()
Ответ на: комментарий от dmxrand

Ну если идиот делает стораж на сервере одним разделом, то при чем здесь остальные? Это проблемы идиота.

targitaj ★★★★★
()
Ответ на: комментарий от zloelamo

все это исчезает и заменяется на нормальное железо

Чем freebsd+hba+zfs+корзины+fc/iscsi хуже или сложнее аппаратного гроба?

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Эту фразу я должен понимать как признак полного отсутствия технических специалистов в банке?

Банк банку рознь. Вон у Тинькова реально сделали хорошую аналитику. А в некоторых банках некому Эксчейндж держать....

dmxrand
()
Ответ на: комментарий от dmxrand

Только некому ее там делать.

Ты не прав. Я общался с чуваком из одного комерческого банка, который это делал. Получилось занятно. Он не говорил для чего конекретно они это применяют, но понятно, что для проработки какой-то аналитики.

zloelamo ★★★★
()
Ответ на: комментарий от dmxrand

Ага и IPv6 НЕ БУДЕТ НИКОГДА!

Да дело не том, что это технически сложно. Тот же МГТС уже запустил, если я не ошибаюсь. Но просто это нафиг не нужно никому кроме горстки гиков - нет спроса. (вот доставляющая статья от технаря из небольшого провайдера http://telekomza.ru/2015/04/24/veroyatno-vy-uzhe-ispolzuete-ipv6-no-ne-dogady...)

zloelamo ★★★★
()
Ответ на: комментарий от King_Carlo

Эту фразу я должен понимать как признак полного отсутствия технических специалистов в банке?

Ну, в принципе да. Они там есть, но работа у них другая. Они специализируется на приложениях, а все что ниже уровнем максимально отдают на сторону: так расходы становятся более предсказуемыми. Ну это я про нормальные банки говорю.

zloelamo ★★★★
()
Ответ на: комментарий от kto_tama

в них положены миллионы комитов, тысячи людей приложили к этому руку

А ещё она отработала миллионы часов в миллионе разных юзкейсов.

Верим. Надеемся. Ждём.

aidaho ★★★★★
()

из текущей плачевной ситуации с файловыми системами в Linux

Ну это... Если текущая ситуация такая, то я не знаю даже... Где-то лучше?

macrohard ★★
()
Ответ на: комментарий от King_Carlo

freebsd+hba+zfs+корзины+fc/iscsi

Тем, что это за эту требуху отвечает человек в штате. За аналогичное наполнение гроба отвечает вендор, а админ к нему только кабели подключает. На самом деле не надо недооценивать расходы на зарплату. Хороший админ в Москве обходится примерно в 3 мегарубля в год (это зарплата, налоги, бонусы, офисное место), поэтому логично, что изкоробочные решения рулят. В пересчете на 3 года (типичное гарантийное время) это уже получается хороший мидрендж дисковый массив. Поэтому если есть возможность купить хорошее оборудование и обойтись командой в 3 админа, то бизнес это сделает не задумываясь. Зато в этом случае эта команда сможет окучивать не 100 хостов, а 1000 и заниматься не конпелянием фряхи, а инфраструктурой и приложениями которыми бизнес пользуется.

zloelamo ★★★★
()
Последнее исправление: zloelamo (всего исправлений: 1)

М-да...

Каждый кулик хвалит своё болото.

Gannet ★★★
()
Ответ на: комментарий от Deleted

KISS не укладывается в современную экономику.

Кто сказал NVME? Я чуть не кончил, когда спеки увидел. И нормальные тулзы. И нормальный таргет. И никакого SCSI говна.

kirk_johnson ★☆
()
Ответ на: комментарий от i-rinat

Конкретный недостаток обходится запретом упаковки файлов в дерево. Или ограничением максимального размера пакуемых файлов. В этом случае размер записей становится фиксированным, авторы упомянутой статьи счастливы.

Не становится он фиксированным. Посмотри уже на дисковый формат btrfs. Конкретный недостаток обходится созданием отдельного дерева для каждого типа рекордсов, т.е. переписыванием btrfs заново.

anonymous
()
Ответ на: комментарий от anonymous

IMHO, достаточно того, что есть верхний лимит размера записи, чего раньше не было. Можно считать, что все записи одного размера, максимального. Раскидав это по разным типам листьев можно выиграть немного места, но экономия будет копеечной.

Честно говоря, в принципе устройства дерева я вижу мало различий между reiserfs и btrfs. Почему-то reiserfs он помоями не поливал.

i-rinat ★★★★★
()
Ответ на: комментарий от i-rinat

Честно говоря, в принципе устройства дерева я вижу мало различий между reiserfs и btrfs.

А как ты сравнивал? diff -u делал? Я, к примеру, очень много различий вижу...

Почему-то reiserfs он помоями не поливал.

А зачем поливать помоями академический проект, в котором всё нормально? (в последнее время его, правда, доломали Линус и компания).

anonymous
()
Ответ на: комментарий от zloelamo

Банк себе этого позволить не может по целому ряду причин.

Сбербанк сейчас один из самых активных потребителей новых софтовых технологий. Вокруг Грефа столько сейчас продажников софтовых летают что жуть берёт. Думаю он и железные технологии хорошо потребляет.

vtVitus ★★★★★
()
Ответ на: комментарий от King_Carlo

Я тоже не знаю, на ssd любая ФС реактивная.

Но некоторые реактивные летают на 3M, а другие — только на дозвуке :)

KRoN73 ★★★★★
()
Ответ на: комментарий от zloelamo

Я работал в 4-х банках..... И сейчас я работаю в СБЕРЕ. Ланит для них может что сделать, но (там уже маски шоу были)

dmxrand
()
Ответ на: комментарий от anonymous

Если нет, то еще хуже. Вполне может завестись какая нибудь Нина...

dmxrand
()
Ответ на: комментарий от zloelamo

Я сам работал в МТС и слышал про «никому не надо» много раз. При этом админские консоли маршрутизаторов имеют белые IPv4. Перевод все системы на IPv6 никто не берется делать (часть оборудования не поддерживает, в биллинге типы данных в БД другие и прочее). Тут скорее ссыкотно, потому и отговорки (я не бросаю курить потому, что....)

dmxrand
()
Ответ на: комментарий от i-rinat

IMHO, достаточно того, что есть верхний лимит размера записи, чего раньше не было.

Ты дурачок что ль? Размер записи ограничен размером ноды.

anonymous
()
Ответ на: комментарий от anonymous

А как ты сравнивал?

Ковырял формат reiserfs, сделал утилиту, которая двигает данные на разделе. Вникал довольно глубоко, пока ошибок в работе не видел. В btrfs смотрел в описание дискового формата.

diff -u делал?

Смешно, ага.

А зачем поливать помоями академический проект, в котором всё нормально?

Если ты имеешь в виду то, что код писали так, как пишут учёные, то да, академический код. Плюс там ещё кучка хлама совместимости 3.5 и 3.6.

i-rinat ★★★★★
()
Ответ на: комментарий от macrohard

Нет. На самом деле в Linux хоть есть из чего выбирать. Про NTFS я молчу... Когда кредит не могут в банке выдать потому, что удалили каталог, а там был открытый файл, а новый каталог с таким именем создать не могут ибо DFS не отстрелялся....

dmxrand
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.