LINUX.ORG.RU

Создатель bcachefs: текущая ситуация с ФС в Linux и привлечение денег на развитие проекта

 , ,


7

8

Kent Overstreet, создатель и главный разработчик файловой системы (ФС) bcachefs, запустил кампанию по привлечению средств на дальнейшее развитие проекта. Мотивацию к созданию ещё одной файловой системы Кент извлекает из текущей плачевной ситуации с файловыми системами в Linux:

  • ext4: Да, она работает, но годы долгой эволюции берут своё. Серьёзные проблемы с качеством исходного кода, проблемы с производительностью, периодически выявляемые ошибки, приводящие к повреждению или потере хранимых данных. По мнению разработчиков ФС, надёжная работа этой ФС — это мираж, т.к. лучший компонент этой ФС — это fsck.
  • XFS: Работает надёжно, качество и строгость исходного кода ФС является примером для подражания для всех остальных. XFS имеет классическую архитектуру: update-in-place, а не copy-on-write. Поэтому множество продвинутых функций в рамках этой ФС реализовать проблематично или просто невозможно.
  • btrfs: ФС разрабатывалась под Linux как ФС следующего поколения, «наш ответ ZFS». Но она разрабатывалась на скорость, без проработки архитектуры. Например, допущено множество ошибок в формате хранимых данных, ужасное качество исходного кода и его огромный объем. Много людей уже погорело на btrfs.
  • ZFS: Эта ФС показывает людям то, что они могут получать от copy-on-write ФС, но ФС живёт и развивается вне Linux, и на Linux она не ориентирована. Из технических особенностей: в отличие от остальных современных ФС, ZFS имеет block-based архитектуру вместо extent-based (сделано для упрощения реализации снимков на уровне ФС).


Как видно, ситуация с файловыми системами в Linux оставляет желать лучшего, что же предлагает Kent? bcachefs уже сегодня — это:

  • copy-on-write POSIX-совместимая ФС.
  • Нижний слой ФС реализован на базе стабильного и оттестированного годами проекта bcache. Файловая система (при текущем наборе функций) уже стабильна и протестирована на хранении 50 ТБ+ данных. С момента первого анонса было выявлено лишь несколько мелких ошибок. Создатель ФС использует bcachefs на своём ноутбуке в качестве корневой.
  • Высокая скорость работы. Со времени апрельских тестов производительности были сделаны оптимизации. В bcachefs хорошо отработан tail latency, практически отсутствуют блокировки потоков на вводе-выводе.
  • Простой и понятный исходный код. Текущий исходный код меньше по объёму, чем ext4, но уже содержит большинство функций btrfs.



Таким образом, проект bcachefs готов к ограниченному использованию уже сейчас, но реализация части функций требует спонсирования. Текущий статус основных функций:

  • Хеш-суммы: реализовано на 100%, по умолчанию — crc32c.
  • Сжатие: реализовано (LZ4, gzip). Но не доделан подсчёт свободного места, поэтому сжатие пока не приводит к увеличению свободного места.
  • Работа поверх нескольких устройств, включая кэширующие устройства (tiering): уже работает, но требуется тестирование и отладка.
  • Репликация: сделано на 80%.
  • Коды избыточности (Reed-Solomon, наподобие RAID 5/6): не начато.
  • Шифрование: не начато.
  • Снимки (snapshots): уже в процессе. Они будут иметь ряд приемуществ над традиционными снимками: значительно меньшие потери производительности и свободного места.
  • И другие.

Для продолжения стабильного развития bcachefs необходимо $3000 в месяц. Сейчас все расходы на развитие ложатся на кошелёк Кента.

>>> Подробности

★★★★★

Проверено: JB ()
Последнее исправление: Klymedy (всего исправлений: 17)
Ответ на: комментарий от EvgGad_303

Вот так оно освобождает. Не, не проблема.

ARC memory pressure is pushing into swap (12 Jun 2013)
Cостояние zfsonlinux на 1913 год будем обсуждать?

тебе надо бы получше ознакомиться с предметом.

Анонимус выше правильно написал, нет mmap - нет двойного кэширования. Но, дискутировать на эту тему не хочу, как я уже выше писал, меня «проблема двойного кэширования» не волнует вообще никак, а в разработке проекта я не участвую.

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Cостояние zfsonlinux на 1913 год будем обсуждать?

И тебя не смущает статус open?

нет mmap - нет двойного кэширования.

Это в солярисах так. В линуксе же vfs про arc ничего не знает.

Но, дискутировать на эту тему не хочу

Оно и правильно.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

И тебя не смущает статус open?

Не смущает. Там описана довольно странная ситуация, автор тикета, зачем то, забабахал swappiness=0, но не написал чему равен min_free_kbytes. Нет никаких входных данных, ни объёма ОЗУ, ни кейса. Что и как у него там ушло в своп непонятно. Как воспроизвести эту проблему тоже непонятно. Учитывая, что с тех пор пользовательская база zfsonlinux выросла в разы, а массовых жалоб на описанное явление нет, напрашивается вывод, что проблема высосана из пальца.

King_Carlo ★★★★★
()
Ответ на: комментарий от King_Carlo

Вот что пишет один из разрабов

There are still some issues here. I've also noticed that the arc doesn't always shrink fast enough to avoiding swapping out other apps.
behlendorf

Улучшения ведутся, но milestone 0.7.0 и статус open какбэ намекают.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Улучшения ведутся, но milestone 0.7.0 и статус open какбэ намекают.

Да кто ж спорит, проект пока не идеален, но, что важно, абсолютно работоспособен. Никаких критичных багов нет, есть эксплуатационные нюансы. Учитывая, что альтернатив на линуксе нет, zfsonlinux нужно холить, лелеять и донатить. Btrfs, имхо, не взлетит никогда.

King_Carlo ★★★★★
()
Ответ на: комментарий от EvgGad_303

Ну где-то и станки не менялись со времён индустриализации, а где-то приходится закупать то, что в процессе распила наследия проклятого совка умудрились просрать до утери технологии и всех полимеров.

zabbal ★★★★★
()
Ответ на: комментарий от zabbal

Ну где-то и станки не менялись со времён индустриализации,

На заводе Ericsson, ага. У нас там, конечно, были и преведы с 70-80х, типа xray систем, но в 2005 я участвовал в закупке и пуско-наладке новых AOI систем и никаким инторнетом там не пахло. Системы производства в инторнете - это вообще нонсенс.

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от King_Carlo

самый удобный из известных способов манипуляции данными.

а вот не надо данными манипулировать! только правда!

anonymous
()
Ответ на: комментарий от anonymous

Запретить cow-ФС! Надо в закон Яровой добавить.

anonymous
()
Ответ на: комментарий от Sahas

Это MM/DD/YY, стиль, используемый в Америке. Использую чисто за привычность с американской системной локалью.

DeadEye ★★★★★
()
Ответ на: комментарий от dmxrand

А есть варианты? В МТС ЗП процентов на 20 ниже. А в остальных вообще...

Уходи в разработку. Там найти работу в разы проще, денег в разы больше и работа спокойнее тоже в разы. Причина в том, что разработчиков меньше, чем потребность в них (поэтому у программистов есть выбор), в отличие от сисадминов (когда начинают ныть про «не можем найти подходящего специалиста», это означает, что предлагают такие условия и требования, что туда никто не идет). Поэтому, разработчики не занимаются заполнением SLA - всегда есть выбор и можно сменить такого работодателя на другого.

На первое время, возможно, будет просадка по зарплате, т.е. junior- это как админ у провайдера с 5-ю годами опыта, но продлится это не больше года.

anonymous
()
Ответ на: комментарий от zabbal

Это сколько ж тебе башляют что ты эту срань терпишь? Или ты мазохист?

Специфика работы сисадмина. Программисту не понять. Программист в такой ситуации сменит работодателя, сисадмину это сделать в разы сложнее отсюда и огромное различие.

P.S. Вообще термин IT-шник все сильно путает. В реальности в программировании и администрировании огромная разница в условиях работы и зарплате (в разы), хотя те и другие занимаются похожими вещами.

anonymous
()
Ответ на: комментарий от With

xfs не развивается

может показаться что написано хвалебно про фс. а вот про утилитки и тулзы скромно промолчали. ведь сравнение фс, а не тузлов.

зато в противовес похвалили fsck в ext4.

n_play
()
Ответ на: комментарий от anonymous

Программист в такой ситуации сменит работодателя, сисадмину это сделать в разы сложнее

Да ладно, переименуйся в девопс и вперёд - или за те несколько лет, что я не смотрел на вакансии рынок сисадминства внезапно заполонился (кем интересно)?

zabbal ★★★★★
()
Ответ на: xfs не развивается от n_play

xfs не развивается

К сожалению, но xfs всё ещё развивается последнее обновление 2013 года, что откровенный минус для любой файловой системы. Файловая система не должна быть развивающейся, она должна быть развившейся, стабильной, непоколебимой как гора Еверест, какой xfs по сути и является. Но в мире линукс, то что не развивается некоторыми порой и высокопоставленными дебилами считается R.I.P. Как было с reisrfs, как только эта фс стала стабильной, её сразу выпилили из ядра. Я с 2006 года по 2016 почти 10 лет просидел на reiserfs 3.5 и почти ей начал доверять, как её выпилили из ядра, негодяи. Про утилиты xfs ничего негативного не слышал.

With ★☆☆
()
Ответ на: комментарий от Sahas

Та ладно, как хочу, так и пишу, все-таки это тебе не русский язык, тут можно извратиться (=

DeadEye ★★★★★
()
Ответ на: комментарий от With

последнее обновление 2013 года

то поди был просто косметический допил под изменения API в недрах ядра и всё.

Про утилиты xfs ничего негативного не слышал.

пользовать надо было, там всякие backup и прочие интересности были.

n_play
()
Ответ на: комментарий от zabbal

Да ладно, переименуйся в девопс и вперёд - или за те несколько лет, что я не смотрел на вакансии рынок сисадминства внезапно заполонился (кем интересно)?

  • Переименование в devops слегка улучшает ситуацию
  • Несколько лет для рынка труда довольно много (я помню времена, когда сисадмина искали по пол года, сейчас на каждую вакансию отвечает несколько десятков достаточно квалифицированных кадров и раз в 10 больше чуть менее квалифицированных, в результате выбирают по форме черепа). Кстати, виндовым сисадминам платят больше.
  • Одно дело смотреть на рынок труда, другое дело ты сисадмин и тебе нужно сменить работу с ростом в зарплате. Ну, так вот, сейчас ситуация такова, что переизбыток предложения на рынке привел к тому, что
    • зарплата админа с опытом раза в 1.5 больше зарплаты грузчика в магазине через дорогу (а если этот грузчик прошел курсы по работе на электроштабелере, то скорее всего и не выше вовсе).
    • сменить работодателя не просто (спрос выше предложения)
    • требования к кандидатам и загрузка по максимуму, который можно выжать (тебя постоянно дергают разными вопросами и вызвать среди ночи на очередной аврал - обыденность, как и изменение конфигураций разного железа в нерабочее время, чтобы минимизировать риски простоя)
    • после 30-ка сменить работу без знакомства вообще без шансов, потому что ты «чрезмерно квалифицированный» и тебе будет скучно, а у работодателя есть выбор из других кандидатов, да и платить тебе больше смысла нет.
anonymous
()
Ответ на: комментарий от anonymous

Эк у вас там всё запущено, к 30-ти не старший архитектор и всё - неудачник. Совок такой совок.
Интересно, что это за офисные эникеи такие, что получают в разы меньше. Я со своей колокольни вижу максимум 10-20% разницу, но таки да, не линукс и не винда, да и не совсем одмин.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от n_play

то поди был просто косметический допил под изменения API в недрах ядра и всё.

Угу, дисковый формат изменили для поддержки контрольных сумм метаданных и ещё чего-то.

anonymous
()
Ответ на: комментарий от EvgGad_303

Совок такой совок.

Причина в том, что предложение в разы превышает спрос (множество задротов-интровертов, верящих в сказку «хороший специалист всегда найдет хорошо оплачиваемую работу» совсем не интересуются уровнем зарплат в других сферах или у собственного руководства, но непрерывно занимающихся повышением собственной квалификации (компилянием и настройкой всего подряд) совсем не понимают, что когда на одну вакансию претендуют 20 достаточно квалифицированных специалистов, то работодатель выберет подходящего кандидата подешевле и не важно, насколько у тебя высокая квалификация, потому что ты будешь конкурировать с другими такими же кандидатами. При этом в конкуренции и переговорах задроты-интраверты не сильны).

Только что ты назвал «совком» конкуренцию на рынке труда и формирование цены товара на основе соотношения спроса и предложения.

anonymous
()
Ответ на: комментарий от EvgGad_303

к 30-ти не старший архитектор и всё - неудачник. Совок такой совок

По-моему, в совке наоборот любили ставить в пример десятилетия работы на низших должностях.

Deleted
()
Ответ на: комментарий от anonymous

Не везде нужны юнцы с горящими глазами.
Зарплаты квалифицированного погромиста и непогромиста не сильно отличаются и уж точно не в разы, ну в цивилизованых странах. Ну а задроты-интроверты, это их личные проблемы, им и зарплата зачастую не нужна.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от anonymous

Кстати, виндовым сисадминам платят больше.

Фу какая пакость. При Ста... кхм, при мне такой фигни не было - в смысле когда я сисадминствовал виндузятники тихо сидели под шконкой и капали слюной на зарплаты юниксоидов. Где это мы свернули не туда интересно?

zabbal ★★★★★
()
Ответ на: комментарий от zabbal

У нас все пашет. А ответ виндового сисадмина - надо купить НОВЫЙ эксчейндж (откаты....)

dmxrand
()
Ответ на: комментарий от pftBest

У линукса. Почитай RFC возьми нормальный iSCSI сервер, подруби клиент на линуксе, и получи не рабатающую схему. Ибо линуксовый iSCSI не хорошо умеет стандарт.

c3340662X
()
Ответ на: комментарий от shahid

Reiser4

Читал, что он де-факто готов. Просто некому письма о багах принимать. А для того чтобы Reiser4 попал в ядро, нужен человек, который будет сопровождать эту файловую систему.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.