LINUX.ORG.RU

Файловые системы ближайшего будущего (доклад Google)

 , , , ,


0

5

В мае 2011 года, в расширенном докладе Майкла Рубина, занимающегося системами хранения данных в Google, прозвучал подробный сравнительный обзор современных файловых систем, в котором, кроме перечисления их преимуществ и недостатков, были даны и некоторые прогнозы о будущем развитии и потребностях информационной индустрии в этой сфере.

В частности, была рассмотрена способность существующих файловых систем (ФС) адаптироваться к вызовам уже ближайшего будущего (к так называемому зетта-наводнению данными), в связи с чем, из всех ФС экспертами были выделены четыре ведущие файловые системы, изначально спроектированные с учетом удовлетворения самых взыскательных требований и запросов. Вот краткий перевод этого доклада Google по каждой из отобранных ФС:

>>> Подробности



Проверено: Shaman007 ()
Последнее исправление: Pinkbyte (всего исправлений: 3)
Ответ на: комментарий от shahid

Кластеризуется - понятие растяжимое. Если кластеризуется также неограничено убого, как и OCFS/GPFS и большинство других кластерных posix-fs, то такая кластеризация не нужна даром.

Это там где 256 нод в кластере жестко зашито в сетевом протоколе ?

anonymous
()
Ответ на: комментарий от shahid

Сразу видно тех, кто никогда не пользовался упомянутыми вещами.

А ты пользовался «большинством кластерных posix-fs»? Правда штоле?

tailgunner ★★★★★
()
Ответ на: комментарий от shahid

Чо, прям данные перезаписывают постоянно со всех нод и ничего не тормозит?

Братан - если ты намекаешь на lock ping-pong - то у MPI задач такое редко бывает.

anonymous
()
Ответ на: комментарий от Pinkbyte

Мальчик, кто тебе сказал, что хаммер - это кластерная система? Да это вообще проект в зачаточном состоянии.

DragonFlyBSD still uses a uni-processor kernel configuration by default and when we had used the SMP kernel atop DragonFlyBSD 2.8.2 (and later also built a x86_64 SMP kernel configuration from the 2.9-development code), the SMP performance under our setup was actually much slower than with its UP kernel.

Там ядро от 4 фряхи с кривым SMP. О чем мы вообще тут говорим?

anonymous
()
Ответ на: комментарий от Best-hokum_ever

ситуация с btrfs пока напоминает ситуацию с zfs трёхлетней давности, когда были значительные риски в её использовании в продакшене, связанные с непредсказуемостью производительности в различных сценариях применения.

Ну надо же, новая инкарнация стало гораздо миролюбивее по отношению к ZFS :)

anonymous
()
Ответ на: комментарий от anonymous

С чего ты решил? Суть не изменилась, именно это я говорил и раньше, существуют профили нагрузки io и варианты конфигураций, на которых zfs сливает.

К сожалению, сейчас btrfs не годится для продакшена в linux, впрочем, как и zfs.

Best-hokum_ever
()
Ответ на: комментарий от A-234

Насчёт простоты устройства не уверен, а вот работает точно лучше.

Best-hokum_ever
()
Ответ на: комментарий от sdio

Верь дальше, что принудительный fsck через 25 ребутов (серверы ребутятся раз в ???) помогут в таком случае.

Вообще-то там есть еще и ограничение по времени. 6 месяцев - и следующий fsck. AFAIK, именно так по-умолчанию. Можно и чаще проверять - файлопомойка в 10Tb без проблем будет проверена за сутки - запустите fsck с низким приоритетом и соответствующим классом IO-шедулера.

2. Сервера полезно время от времени ребутить. За 6-то месяцев - уж точно хоть один критический апдейт к ядру, да выйдет. Да и проблемы могут всплыть - ошибки в конфигурации, глюки оборудования. Лучше пусть это будет в известный момент.

Если вам нельзя потратить раз в шесть месяцев пару минут на перезагрузку - нужна кластеризация сервисов и/или вынос в виртуальные окружения. Трястись над большими аптаймами - глупо.

myhand
()
Ответ на: комментарий от nehalem

разраб у которого явные проблемы с чсв

Пожалуйста, поясните подробнее про «проблемы».

myhand
()
Ответ на: комментарий от shahid

О, ирония в том что они другим эту свинью потом подложат...

myhand
()
Ответ на: комментарий от Best-hokum_ever

С чего ты решил?

С того, что раньше любое упоминание ZFS вызывало у предыдущих инкарнаций лютый баттхерт :)

существуют профили нагрузки io и варианты конфигураций, на которых zfs сливает.

О да, такую умную мысль сказал.. Тока анекдот про суровых сибирских мужиков и японскую бензопилу давно уже придумали.

anonymous
()
Ответ на: комментарий от Relan

никогда не делайте бекапов

Небось еще и бекапов не делаешь, да? :)

бекапы на ленте и прочих архивах вредны. Когда придет жареный петух клваться в задницу, они редко помогают. Но создают уверенность. Поэтому вредны.

Полезнее действительно важные вещи складывать в два места, сразу после модификации. И делать это сразу после того, как. А не из cron время от времени.

В этом смысле XFS нужен не для сохранности - этим аппаратура должна заниматься, а для других вещей. Для хранения фоток идеально подходит - быстро копирует, быстро открывает. Мелких фоток не храню ;)

В мое админство опасался подыхания контроллера raid, а не разрушения файловой системы. Критерий - лучше пусть встанет в ступор и перестанет писать на raid, поэтому системный диск и своп нельзя выносить из raid с данными в отдельный шпиндель ;) Они должны быть в одной лодке...

Для домашних применений чуть другие критерии. В этом смысле ext4 молод-зелен еще. И не нужен. См. выше про скорость на фотках.

vsv
()
Ответ на: комментарий от GluckMan

До ее появления имело смысл пользоваться jfs, xfs или чем другим, но сейчас они все сливают ext4

Ну можно же и то и то юзать. Например под ОС и прочую мелочь у меня ext4, а под видяшечку в HD, дистрибутивы и прочее XFS. Лучшего сочетания пока не нашел. Конечно это все на уютненьком десктопе, а не в production серваках.

partyzan ★★★
()
Ответ на: комментарий от red_eyed_peguin

Фабрики по производству накопителей-то наводнением накрыло

чувак, hdd-накопители в ближайшем будущем будут нужны, как сейчас ленточные накопители, даже скорее всего в меньшей степени.

autonomous ★★★★★
()
Ответ на: комментарий от A-234

Пучему не ext2, например? Устроена даже проще чем так любимый вами fat.

Потому что у домохозяйки в 99% случаев стоит оффтопик которая не умеет ext2 из коробки, и 0% случаев стоит линукс который умеет. 3rd-party драйвера домохозяйка установить не умеет, да и я не знаю такого драйвера ext2 под оффтопик, который при попытке чтения с бед-блока не выкинул бы BSOD.

FeyFre ★★★★
()
Ответ на: комментарий от sdio

Я верю. И использую XFS много лет на ПК без UPS и пр. Жив, здоров и тебе того же желаю.

Я хожу по стройке без каски. (с)

zgen ★★★★★
()
Ответ на: комментарий от autonomous

чувак, hdd-накопители в ближайшем будущем будут нужны, как сейчас ленточные накопители

До меня доходили слухи, что реальные пацаны бакапятся по хардкору на эти самые денты. А свои говноssd, которые дохнут в условиях, приближенных к реальности, можешь засунуть себе куда подальше.

red_eyed_peguin
()
Ответ на: комментарий от zgen

Да вылезьте вы из наабиоза наконец. Проблемы с нулями поправлены уже невесть сколько версия ядра назад. А чуть позже - и скорость работы с мелкими файлами. Вот, к примеру, результаты для ядра 3.1: http://cd34.com/blog/infrastructure/ext4-xfs-and-btrfs-benchmarks-and-testing/

Видно, что XFS проигрывает фактически только в скорости создания мелких файлов (основательно при это этом выигрывая в скорости их чтения и удаления). А в 3.2 ещё оптимизации были.

anonymous
()
Ответ на: комментарий от anonymous

во-первых, я вам не мальчик(вы не знаете меня - я не знаю вас).
А во-вторых:

http://blogerator.ru/page/fajlovye-sistemy-blizhajshego-budushhego-hammer: «Hammer — это 64-битная кластерная файловая система построенная на B-деревьях»

http://lwn.net/Articles/384200/: «After some preliminary work in version 1.12, DragonFly BSD added a new clustering filesystem in version 2.0»

И если первая ссылка у многих ЛОРовцев(и у меня в том числе) вызывает сомнения в адекватности, то второй я предпочту довериться...

P.S. Сам лично HAMMER не юзал, если по обоим ссылкам ЛПП, то так и скажи...

Pinkbyte ★★★★★
()

Про /usr уже пошутили?

anonymous
()
Ответ на: комментарий от BattleCoder

в то время как раньше использовалась ext3? или XFS использовалась?.

Санек Брин забанил на своем серваке ? ext2 они использовали и мигрировали с него на ext4 без журнала.

vtVitus ★★★★★
()
Ответ на: комментарий от anonymous

Можно ли ext4 конвертировать в btrfs без потери данных?

Да можно. переход с ext3/4 прозрачен. но сам бтр ещё не сильно готов к использованию - чисто посмотреть и побаловаться. сидим ждем, когда объявят общую миграцию +)

vtVitus ★★★★★
()

господи, ну и кого собственно волнуют проблемы гугла? всем остальным хранить таки объемы данных незачем и, соответственно, не стоит кидаться устанавливать хромые поделки типа zfs и btrfs. хотя, подозреваю, что толпы леммингов лора так все и сделают.

anonymous
()
Ответ на: комментарий от sdio

А я верю в zfs. И backup'ы делаю. На всякий.

zgen ★★★★★
()
Ответ на: комментарий от fragment

Думайте и говорите что хотите, но снапшоты в ФС просто ДОЛЖНЫ БЫТЬ! Так что юзаем ZFS.

fixed ;)

zgen ★★★★★
()
Ответ на: комментарий от X-Pilot

Зачем вы предлагаете забивать гвозди микроскопом?

нанотехнологии?

shty ★★★★★
()
Ответ на: комментарий от FeyFre

Домохозяйки, оффтопик? Да кому они вообще интересны? Если домохозяйке захочется вознести свою мелодию в звонок входной двери то она что под оффтопиком что под макосью переместит значек мелодии на соответствующий значек на десктопе или вроде того. За каким хреном ей про файлы и разделы знать для этого?

A-234 ★★★★★
()
Ответ на: никогда не делайте бекапов от vsv

бекапы на ленте и прочих архивах вредны. Когда придет жареный петух клваться в задницу, они редко помогают.

XFS ... Для хранения фоток идеально подходит - быстро копирует, быстро открывает.

facepalm.ilk

shty ★★★★★
()
Ответ на: комментарий от anonymous

Можно ли ext4 конвертировать в btrfs без потери данных?

можно, но данные придётся бэкапить руками

shty ★★★★★
()

опять желтизна поперла! поменяйте уже названине на «Файловые системы, которые Google планирует использовать для решения своих очень специфических задач в ближайшем будущем»

anonymous
()

А где самая популярная мировая файловая система?

qsloqs ★★
()
Ответ на: комментарий от A-234

Домохозяйки, оффтопик? Да кому они вообще интересны? Если домохозяйке захочется вознести свою мелодию в звонок входной двери то она что под оффтопиком что под макосью переместит значек мелодии на соответствующий значек на десктопе или вроде того. За каким хреном ей про файлы и разделы знать для этого?

Мак умеет ext2? Я просто не в курсе.
Домохозяйке не нужно знать. Она просто не сможет переместить, если разработчик эту иконку не предоставит. А разработчик буде работать на топ ОС потенциальных домохозяек, и это точно не Мак и не никсы. И таким образом ext2 в пролете.

FeyFre ★★★★
()
Ответ на: комментарий от anonymous

С того, что раньше любое упоминание ZFS вызывало у предыдущих инкарнаций лютый баттхерт :)

У тебя глюки.

О да, такую умную мысль сказал.. Тока анекдот про суровых сибирских мужиков и японскую бензопилу давно уже придумали.

Так на вашем фоне умным быть много трудов не стоит. Внедренцы издавна славятся своим интеллектуальным уровнем.

Best-hokum_ever
()
Ответ на: комментарий от fragment

Согласен. На самом деле эта ФС - еще один повод для Саныча обосрать линакс, поэтому портировать надо в рекордные сроки.

ms-dos32
()
Ответ на: комментарий от FeyFre

Да я этот разработчик, и я буду решать какую фс мне в устройство запихнуть. И на топ ОС потенциальных домохозяек будет работать программист пишущий управляющую тулзу а не тот который потрохами железки занимается. Не будет бабуля перед собой файлы видеть, вообще. Она тулзой будет пользоваться, а уж тулзе придется понимать ту фс которая в устройство запихана. И да, еще раз, ext2 не сложнее fat, особенно fat12 ;)

A-234 ★★★★★
()
Ответ на: Где рейзер, мля?! от moscwich

Настоятельно рекомендую пройти по ссылке, чтобы узнать подробности насчет reiserfs.

ms-dos32
()
Ответ на: комментарий от Best-hokum_ever

Внедренцы издавна славятся своим интеллектуальным уровнем.

О, снова начинается :)

anonymous
()
Ответ на: комментарий от A-234

И на топ ОС потенциальных домохозяек будет работать программист пишущий управляющую тулзу а не тот который потрохами железки занимается.

Не, ну если это будет раб, то такое возможно. Но за 2 бакса в год никто не будет сидеть над какой-то тулзой для домохозяек.

а уж тулзе придется понимать ту фс которая в устройство запихана.

Обосрется твоя тулза, ибо её никто не пустит работать с блочной структурой носителя. Или Ваша цель что-бы домохозяйка умерла от инфаркта когда очередной антивирусник проорет об потенциальной угрозе со стороны тулзы?

ext2 не сложнее fat, особенно fat12

Ага, ага. Линки, зацикленность дерева каталогов благодаря им, и прочее - на много легче и компактнее в реализации чем fat.

FeyFre ★★★★
()
Ответ на: комментарий от FeyFre

Не, ну если это будет раб, то такое возможно.

В таком случае вы живете в рабовладельческом строе. Эра кулибиных, разрабатывающих все от прошивки до пользюковой приблуды, уже прошли.

Обосрется твоя тулза, ибо её никто не пустит работать с блочной структурой носителя.

Никто ни с чем не обосрется. И бабуля скорее помрет от дверного звонка представленного в системе в виде очередного диска Ы. Тулза к звонку это домохозяйка-way, а уж как она там с системой договорится - не проблемы пользюка.

Линки, зацикленность дерева каталогов благодаря им...

Линки на флеше в устройстве? А нафига они там нужны? Удержите себя от их создания и будет вам счастье :) А вот что вы будете со своей fat делать когда копии не совпадут или закольцованность появится я даже не знаю. Тяжелые воспоминания от этой фс, если честно. Один чих и весь раздел в стране вечной охоты. Единственное чем ext2 уступает fat так это сложность с восстановлением удаленных файлов, но это ведь не наш случай.

A-234 ★★★★★
()
Ответ на: комментарий от A-234

В таком случае вы живете в рабовладельческом строе. Эра кулибиных, разрабатывающих все от прошивки до пользюковой приблуды, уже прошли.

С выходом из анабиоза. Эра таких вот кулибиных уже давно вернулась. Школоло которое выучит пару хелловорлдов на яве умирает голодной смертью.

от дверного звонка представленного в системе в виде очередного диска Ы.

Баб не будет этого знать, если диск Ы будет обеспечен нормальными дровами. Без дров бабе придется выполнять роль дров. Вот тогда всплывет каой-то там диск.

Линки на флеше в устройстве? А нафига они там нужны? Удержите себя от их создания и будет вам счастье

Нафига нужны - дело прикладное. Вопрос стоит в объеме софта, который будет обязан правильно прочитать ФС.

FeyFre ★★★★
()

А разве ReizerFS еще живо? И вообще, какая ФС сейчас рулит для среднестатистического десктопа? Есть ли подвижки в сторону неиерархических ФС?

anonymous
()
Ответ на: комментарий от anonymous

ext4 only, ололошки обсуждающие ext3, ext2 некрофилы, остальное сосет...

anonymous
()
Ответ на: комментарий от FeyFre

Смотря что хотеть. Если просто почитать — то не особо проблемно, 200 кбайт кода в GRUB'е это занимает.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.