Исходники можно утянуть по CVS. Процесс описан здесь: http://sources.redhat.com/cluster/gfs/

И насколько хорошая FS?

Ну, если верить маркетоидам, то:

The leading (and first) cluster file system for Linux, Red Hat GFS has the most complete feature set, widest industry adoption, broadest application support, and best price/performance of any Linux cluster file system today.

Red Hat GFS allows Red Hat Enterprise Linux servers to simultaneously read and write to a single shared file system on the SAN, achieving high performance and reducing the complexity and overhead of managing redundant data copies. Red Hat GFS has no single point of failure, is incrementally scalable from one to hundreds of Red Hat Enterprise Linux servers, and works with all standard Linux applications.

Red Hat GFS is tightly integrated with Red Hat Enterprise Linux and distributed through Red Hat Network. This simplifies software installation, updates, and management. Applications such as Oracle 9i RAC, and workloads in cluster computing, file, web, and email serving can become easier to manage and achieve higher throughput and availability with Red Hat GFS.

Альтернатив-то нет... если надо подключить один RAID к кластеру, скажем, через Fusion MPT. Впрочем, есть еще OpenGFS.

> Впрочем, есть еще OpenGFS

Если я все правильно понял из потока бреда на /. - GFS когда-то раньше был под GPL, потом лавочку прикрыли, и стали его продавать под коммерческой лицензией. Естественно тут же появился GPL'ный форк с последней открытой версии, это собственно и есть OpenGFS; но его что-то поругивают... А теперь RedHat перекупила сей продукт, и вознамерилась его активно продвигать, ради чего и открыла снова.

> Альтернатив-то нет...

Не может такого быть. OpenAFS, Intermezzo, lustre, coda.

> The leading (and first) cluster file system for Linux, Red Hat GFS

Ох-ох. Не верю (с) Станиславский. Не верю редхату. Ничего хорошего они
пока не придумали.

>Не может такого быть. OpenAFS, Intermezzo, lustre, coda.

Может. Все перечисленное -- сетевые ФС, а GFS -- кластерная ФС. Т.е., грубо говоря, несколько компьтеров цепляются напрямую к дисковому массиву и работают с ним одновременно, как со своим собственным диском. А в случае сетевой ФС они бы цеплялись к какому-то файл-серверу, которой и занимается арбитражем. В случае кластерной ФС такого сервера нет, там другие механизмы используются. А RH молодцы, что открыли эту ФС. Это большой шаг...

> Все перечисленное -- сетевые ФС,

Ну да, сетевые. Разница в механизме реализации, а конечный эффект тот
же. Или я что-то не понял? В чём принципиальная проблема использования
сетевой FS в кластере, и зачем нужно изобретать новый велосипед?

На самом деле не очень хорошая. Они пошли по пути shared network block device, как результат - тормоза и скалится плохо. Зато GPL. (а в документации вообще цирк навроде "если число нодов (клиентов видимо - коментарий мой) становится меньше N, то считается что кворум недостигнут и все остальные клиенты подвисают при обращении к fs чтобы дождаться кворума. ну и сответственные проблемы при шатдауне кластера тут же).

Для тех кто не понял почему тормоза - подумайте как вы собираетесь, например, кешировать метаданные имея возможность ставить локи с гранулярностью один дисковый блок. Ну и прочие витекающие из этого проблемы, само собой.

С добрым утром, то есть если сервер экспортирует файловую систему, то файловая система сетевая и есть файл-сервер.

А если экспортируется блочный девайс с сервера и возможность лочить часть блоков, то уже нифига никакого файл-сервера нету потвоему? Ну-ну.

green, объясни пожалуйста популярно, в чём отличие сетевой файловой
системы от кластерной? Я считал, что это одно и то же. А товарисч выше
возражает-с.

A кто может сказать какие плюсы минусы по сравнению с OCFS ? По архитектуре , надёжности и тп тд .

>В чём принципиальная проблема использования сетевой FS в кластере

Проблемы нет. Разные подходы. Каждый со своими плюсами и минусами.

> если экспортируется блочный девайс с сервера и возможность лочить часть блоков, то уже нифига никакого файл-сервера нету потвоему? Ну-ну.

Тут не идет речи ни о каком сервере, обслуживающем "блочный девайс". Есть "железные" дисковые массивы, подключаемые напрямую к N узлов. Каждый из этих узлов не подозревает о том, что кто-то еще пользуется этим же массивом. Если не очень ясно, то эту схему можно упростить до банального. Покупаешь переходник FireWire-IDE с 2 FireWire-коннекторами (~$30), цепляешь на него IDE-шный диск, и все это хозяйство напрямую цепляешь к 2 компьютерам. Где тут сервер?

> Где тут сервер?

Что-то больно просто у тебя всё. Сервер обязательно в том или ином виде
присутствует. Кому ты лапшу вешаешь? Это всё равно, что сказать: тело и
без головы функционировать может. Железный массив, деревянный
массив... Кто управляет локировками?

> Кто управляет локировками?

GFS и управляет. Оно есть промежуточный слой ПО, который обрабатывает вызовы файловой системы. Много лет назад, когда оно было еще открытым, мы связывали по внешней шине SCSI несколько машин и дисковый массив, все более/менее работало. Проблемы были в том, что на тот момент не была реализова обработка fcntl, и было это принципиально. И мы на это забили. Хотя в TODO они хвалились, что работают над этим и результат будет скоро.

ocfs предназначена только для хранения файлов данных Oracle

> ocfs предназначена только для хранения файлов данных Oracle

Oracle вообще по-барабану есть ли у тебя ФС или нет: он может использовать и RAW.

> Оно есть промежуточный слой ПО, который обрабатывает вызовы файловой системы.

Где работает этот "слой"? На клиентах? Один клиент завис, как другие
определят, что заблокированные им файлы можно юзать на запись?

> Где работает этот "слой"? На клиентах?

Посмотри http://sources.redhat.com/cluster/, там все написано. А если вдруг чего не найдешь, тяни исходники и ковыряйся там ;)

The name Lustre embodies "Linux" and "Cluster"...

Согласно документации на GFS, помимо железных iSCSI железок, оно умеет экспортировать и SCSI и NBD и еще там что-то. Как мы назовем машинку которая раздает блочный дефвайс по NBD? Точно так же мы назовем и iSCSI железку. Это тот же сервер. Опять же каждый из узлов вполне себе в курсе что кто-то еще пользуетс массивом, и в курсе он благодаря DLM (более того, каждый из узлов требует чтобы помимо него было подключено еще как минимум N-1 узлов, где N - кворум). А иначе можешь в своем примере с переходником на каждом из двух компьютеров сделать mke2fs на полученный девайс и начать активно юзать девайс. Посмотришь что выйдет и нам тоже расскажешь ;)

Относительно банального переходника - переходник и будет в данном случае сервером по очевидным причинам. Или ты думаешь что все что весит меньше 50 килограмм, то не сервер? ;)

Сетевая файловая система - это NFS, потому что она так и называется, Network File System ;) Что не мешает ее применять для построения кластеров, само собой.

Мне неизвестно четкое определение кластерной файловой системы. Если у кого есть ссылка - с интересом просмотрю.

А, ну и ссылка по теме - http://clusterfs.com ;)

Олег, у меня есть более менее правильная ссылка:

http://www.beedub.com/clusterfs.html

Согласно твоей ссылке GFS не является кластерной файловой системой потому что она не distributed (единый storage).

А моя ссылка вообще никаких определений не дает, просто так - для информации ;)

>green, объясни пожалуйста популярно, в чём отличие сетевой файловой системы от кластерной?

Для этого нужно поянть отличие SAN от LAN.

...SAN'овские разделяемые файловые системы "висят" в собственной SCSI/FC сети. Представь свой IDE винт, у которого два шлейфа воткнуты в два разны компьютера. Примерно так.

Не занимайся софистикой. Я не давал точных определений. Я лишь схематично показал в чем разница между сетевой и кластерной ФС. Как план местности не отличается топографической точностью, так и мое схематичное описание ни в коей мере не претендует на точность и полноту. Давай не будем тут показывать, кто на что горазд в изващении всего, что бы ни написали, Ok? Мне эти споры "сервер - не сервер", "знает - не знает" абсолютно параллельны. Я знаю, что такое GFS. Мне это интересно. Я рад, что RH открыл ее под GPL. Тебе не интересно? Хочешь поспорить? Мне по-барабану...

Учитывая слухи о скором появлении стандарта ATA over Ethernet (на linuxdevices.com пробегала новость на сей счет), который гораздо более прост в реализации на уровне хардвера нежели тот же iSCSI, потребность в файловой системе такого рода становится очевидной...

Если верить определениям по ссылке которую дал Banshee, то GFS ни разу не кластерная, потому что она не distributed. Если у тебя есть определение получше - с интересом ознакомлюсь.

Твои примеры оказались неудачны, потому как сервер все равно имеет место быть, даже если ты и не считаешь что это сервер. Приведи более удачный пример, если хочешь. То что RH открыла GFS под GPL конечно хорошо и тут никто спорить не будет, тем не менее это далеко не единственная кластерная файловая система (если мы все же решим считать ее кластерной) под GPL в наши дни, и далеко не самая лучшая.

Это далеко не слухи, AoE драйвер был засабмичен в lkml месяца два или три назад, как мне вспоминается.

А можеш тогда сказать какая будет по лучше ?

А свои тесты слабо провести, ну чтобы значится на твоих задачах все и попробовать и для себя решить?

А то хотяб огласи список чего тебе нужно, а то требования у всех разные, а результат - он от требований зависит.

2CrashMaker (*) (28.06.2004 15:24:07)
>Учитывая слухи о скором появлении стандарта ATA over Ethernet (на linuxdevices.com пробегала новость на сей счет), который гораздо более прост в реализации на уровне хардвера нежели тот же iSCSI, потребность в файловой системе такого рода становится очевидной...
Учитывая, что SCSI умирает уже пару десятков лет, Ваш прогноз мягко говоря необъективен :-)

ОНА открыла исходники GFS под GPL

Ну вот было пол года назад нужда на выделеном МТИ (это куча FC Дисков соединённых к RAID, а компы к этому RAID-у ) сделать файлсервер так вот надо было такое придумать чтоб несколько компов имели доступ к всему этому .... Как например со спецальным файлсервером и монтируемым по NFS.

Доступ - он разный бывает. А чем, например, NFS неустраивало? Или нехотелось иметь выделенный файлсервер, а то и не один?

Все равно, GFS - единственный способ подцепить ОДИН диск к НЕСКОЛЬКИМ компьютерам на ФИЗИЧЕСКОМ уровне.

Все остальные FS - способ подключить ОДИН диск к ОДНОМУ компьютеру и ОРГАНИЗОВАТЬ ОБРАЩЕНИЕ других компьютеров к этому диску (подключить на ЛОГИЧЕСКОМ уровне).

Хорошо это или плохо - это другой вопрос. Но если я такой вот странный зверь и хочу подключить один массив к двум машинам, то мне нужна GFS. Если я решу, что лучше подключить массив к одному серверу, то мне GFS не нужна. Я могу придумать кучу примеров "за" и "против" GFS. Так что не будем флеймить на тему "GFS vs. NFS-like". Лучше скажите, позволяет ли ЛЮБАЯ ДРУГАЯ FS подключать диск сразу к нескольким машинам. Ткните носом.

Lustre, например, позволяет подключить один диск к двум (и более, надо думать) Object Storage серверам в failover режиме. Чтобы, значится, если один из OSS упадет, остальные продолжили свое нелегкое дело.

А я и не говорил что SCSI умрет. Просто стоимость подобный девайсов на основе AoE будет копеечной, в отличии от стоимости SCSI-стораджей. Соответственно продавать их будут много...

Lustre -- это Distributed File System. Ее нельзя использовать, если ты хочешь подключить один физический диск к нескольким компьютерам. А ведь именно о такой особенности GFS писал анонимный коллега и я выше.

Как я уже сказал, Lustre позволяет подключить один физический диск к нескольким компьютерам, буде такое желание возникнет. Просто эти компьютеры будут играть Object Storage Servers (что, конечно, не машает на них же запустить и клиентов, скажем. Правда в таком режиме оно не очень надежно работает и имеет тенденцию валиться с OOM под нагрузкой).

Впрочем само по себе желание расшаривать именно диск как блочный дивайс с моей точки зрения очень сомнительно, потому как lock granularity получается очень крупный, неудобный для обработки метаданных. Но если вам так хочется - то дело ваше, ясное дело.

>Просто эти компьютеры будут играть Object Storage Servers...

Заучит касиво, но это не доказывает того, что

>Lustre позволяет подключить один физический диск к нескольким компьютерам

С чего ты это взял вообще?

Как бы это задокументированная фича. Lustre OST & MDS в failover режиме зависят от shared storage. То бишь говоря по русски - требуют чтобы один диск был подключен сразу к нескольким OST/MDS серверам.

Определение "к нескольким комьютерам" несколько расплывчато если говорить о кластере (каким компьютерам?), но если считать компьютером все типы нодов, то такая возможность есть в lustre.

Пример кластера:

Кластер состоит из 5 нодов: один OST (object storage target), один MDT (metadata target) и 3 клиента.

Есть блочный дивайс с фалухой на нем (например ext3). Для него создается OST (object storage target). То есть OST ранится на том компьютере к которому подключен дивайс.

Есть еще один блочный дивайс подключенный к MDT - для метаданных.

Есть 3 клиента, которые могут доступаться к OST в паралель. Таким образом имеем дивайс разшаренный между 3 клиентскими нодами.

Речь идет о том чтобы физически подключать один диск к нескольким компьютерам, как я понимаю.

failover плохой пример, потому что активным является только один OST/MDS из тех которые помечены failover.

А шаред стораж нужен для того чтобы не слать data/metadata updates всем серверам из failover группы. То есть не нужно заботиться о когерентности данных. Если один из failover загнулся, все клиенты и другие сервера переконекчиваются на один из запасных таргетов.

failover как раз хороший пример. Запрос был чтобы один диск можно было подключить сразу к нескольким компьютерам. ЗАпроса на то чтобы все эти компьютеры использовали диск одновременно - небыло ;)

тогда покатит :)

Раз уж мы уклонились в сторону от темы, поговорим насчет Lustre и [O]GFS. Эти FS предназначены для решения различных задач. Или, по крайней мере, они используют разные подходы для решения своих задач. В общих чертах [O]GFS -- решение для SAN (каждый узел соединен с общим дисковым устройством), в то время как Lustre -- решение для NAS (каждый узел-клиент соединен с файл-сервером/NAS-устройством посредством общей сети). Если о [O]GFS мы можем думать как о файловой системе, предназначенной для обслуживания одновременной работы множества узлов с одним единственным общим "диском", то Lustre -- это в некоторой степени аналог майкрософтовской DFS, т.е. данные физически "размазаны" по сетевым хранилищам, но логически представлены в едином пространстве имен. Каждое из решений имеет плюсы и минусы. Но это разные решения, предназначенные для разных задач, обсуждение которых выходит за рамки данной темы.

>ЗАпроса на то чтобы все эти компьютеры использовали диск одновременно - небыло ;)

Детский сад и опять софистика. Именно ОДНОВРЕМЕННАЯ работа нескольких узлов с общим диском и является отличительной чертой [O]GFS, которой больше нет ни у одной FS под GPL. И то, что GFS открыли под GPL -- это очень хорошо.