Lustre

а тесты/сравнения есть?

>а тесты/сравнения есть?

ntfs всё равно круче :D

А в чём новость ? Lustre уже сто лет как в обед..

NTFS -- это кластерная ФС?

А новость в чём??:-\

А чем оно лучше gpfs?

Новость я отнём в раздел документации. Просто внятный рассказ об этой файловой системе.

это не новость, это борода еще б написали что люстру сан купил

>А чем оно лучше gpfs?

Тем же чем Sun лучше IBM ;)

очень полезная штуковина для нас. может сэкономить несколько сотен тысяч на nas-ах, да и скорость 4гб/c fibrechannel-а не ограничена

чем оно лучше чем hdfs?

вам нужно смотреть на решение от ISILON (http://www.isilon.com/) оно реально работает без напильника.... цена конечно кусается, но оно того стоит.

> вам нужно смотреть на решение от ISILON (http://www.isilon.com/) оно реально работает без напильника.... цена конечно кусается, но оно того стоит.

а вам нужно узнать, что изолон не масштабируется как люстра. поэтому и нету его в top10, где цена вторична.

>А новость в чём??:-\

Хм, да, с этим небольшие проблемки... Но как минимум это просто тема для разговора...

Это кто Вам такую глупость сказал ? По крайней мере - доводы в студию. ISILON прекрасно масштабируется, просто путем добавления ноды в кластер, причем даже шаманить не надо, просто вставил в стойку, скоммутировал и включил. Все. На самом деле я против люстры не имею ничего против, это просто различные архитектуры. Начнем с того что ISILON не требует выделенного сервера для хранения метаинфы о материале в кластере.

>NTFS -- это кластерная ФС?

Кластеры в ней есть? Значит кластерная.

> Это кто Вам такую глупость сказал ? По крайней мере - доводы в студию. ISILON прекрасно масштабируется, просто путем добавления ноды в кластер, причем даже шаманить не надо, просто вставил в стойку, скоммутировал и включил. Все. На самом деле я против люстры не имею ничего против, это просто различные архитектуры. Начнем с того что ISILON не требует выделенного сервера для хранения метаинфы о материале в кластере.

это не глупость. это цифры. покажите где в top500 изолон. выделенного сервера люстра не требует, все можно запустить на одном узле. я уже не говорю, что для *распределенной* fs это не самая нужная вещь. архитектуры и в самом деле разные. и следствием этого является меньшая масштабируемость изолона. для десятков тысяч узлов оно не предназначено. а люстра на таких уже работает.

Спорить не буду, люстру просто вживую не видел :)

всё равно, спасибо за ссылку. me посмотреть

2602667-кун

Чем оно лучше abcdefs?

> Спорить не буду, люстру просто вживую не видел :)

это точно, с цифрами не поспоришь ...

Что-то, сначала даже и не сообразил.. Документация, конечно, документацией, но, новости в том никакой..

вы претендуете на top10? для разных задач разные решения

>>NTFS -- это кластерная ФС?

> Кластеры в ней есть? Значит кластерная.

в новостях пробегало как один товарищ на десятке Palm III кластер собрал. Работало оно в несколько раз медленнее селерона. Но раз кластер на нём собрали, то палм -- это кластерное железо

Может ее наконец допинали до вменяемого состояния... Когда имел с ней дело в 2005г, это был ацкий тормоз..

А чем это лучше FAT12 ?

>А чем это лучше FAT12 ?

Тем же чем мухи лучше котлет и наоборот ;)

Максимальный объъем файлухи на люстре практически ничем не ограничен в данный момент. Текущие инсталляции на 40 петабайт в наличии есть, ну и понятно в течении ближайшего десятка лет планируются инсталляции объемом в йобибайты (10*14).

Вопрошавшему про gpfs - люстра лучше тем что ей не нужно платить за IBM железо (дорого), за per-node лицензии (очень дорого), что все (linux) клиенты могут работать с люстрой напрямую, а не через NFS (в gpfs только ограниченное количество нод имеет прямой доступ - те которые напрямую к SAN подключены, они ее дальше и раздают по NFS). Именно поэтому большие сайты (ну, вы знаете, реально большие, типа там NERSC) переходят на Люстру, плюются пока, но переходят, потому что IBM дорого и lock-in. Почему плюются? Да потому что в gpfs failover работает стабильнее - NFS stateless, только сервер поменяй, а SAN обеспечивает консистентность данных - так что смерть "серверной" ноды фактически на клиентах не заметна, весь процесс - 5 секунд (ну там конечно тоже не без недостатков, кворум при поднятии всего кластера например). Люстра же имеет более сложные failover сценарии, которые занимают больше времении, протокол - stateful, ну и глюков в нем поболее пока что, правда и масштабируется тоже серьезно благодаря своему протоколу.

Далующимся на скорость - работы как всегда ведутся, что-то чинится. Дебаг выключать не забывайте (пока включен по умолчанию) ;) И ве равно metadata-intensive workloads не суперблещут, конечно, но терпимо вполне, как по мне. (отдельное замечание - вот меня радуют обзоры упирающие на i/o bandwidth файлух и не смотрящие на metadata ops/sec).

Надеюсть еще успел и кто-нибудь почерпнет что-то полезное из моего поста ;)

Странно что никто не упомянул пока про glusterfs и про то, что lustre слила glusterfs по тестам: http://gluster.org/docs/index.php/GlusterFS_1.3.pre2-VERGACION_vs_Lustre-1.4....

> Странно что никто не упомянул пока про glusterfs и про то, что lustre слила glusterfs по тестам: http://gluster.org/docs/index.php/GlusterFS_1.3.pre2-VERGACION_vs_Lustre-1.4... .

ох крутааааааа. забыли только уточнить, что 1.4 - это предыдущая версия люстры, а в 1.6 куча performance improvements ;) я уже не говорю про то, что на этом типа-бенчмарка совсем не проверяется масштабируемость. которая, собственно, основная фишка люстры. еще бы с nfs+ext2 меряли, глупые люди.

http://ceph.sourceforge.net/ ???

>вам нужно смотреть на решение от ISILON (http://www.isilon.com/) оно реально работает без напильника.... цена конечно кусается, но оно того стоит.

Когда я последний раз был на презентации Isilon, то долго мурыжил их спецов на счёт производительности. Оказывается, что производительность Isilonа ограничена максимальным быстродействием сетевого контроллера одного узла.

> ох крутааааааа. забыли только уточнить, что 1.4 - это предыдущая версия люстры, а в 1.6 куча performance improvements ;)

Собственно, и у glusterfs не самая свежая версия в тесте была. Просто тесту этому уже год.


> я уже не говорю про то, что на этом типа-бенчмарка совсем не проверяется масштабируемость. которая, собственно, основная фишка люстры

Поверь мне на слово, у glusterfs масштабируемость тоже на высоте. При этом не требуется отдельный сервер под метаданные, и что еще важнее, не требуется никаких говнопатчей в ядро. То есть берешь рабочую систему с твоим рабочим ядром, ставишь glusterfs и патченный fuse и все работает, причем без перезагрузок. С lustre такой фокус не прокатит: надо долго и упорно патчиться. А попробуй сделай ядро с xen dom0 и lustre - вспотеешь.

> Поверь мне на слово, у glusterfs масштабируемость тоже на высоте. При этом не требуется отдельный сервер под метаданные, и что еще важнее, не требуется никаких говнопатчей в ядро. То есть берешь рабочую систему с твоим рабочим ядром, ставишь glusterfs и патченный fuse и все работает, причем без перезагрузок. С lustre такой фокус не прокатит: надо долго и упорно патчиться. А попробуй сделай ядро с xen dom0 и lustre - вспотеешь.

не поверю. я не идиот. цифры покажите, потом разглагольствуйте здесь. для люстры цифры легко найти гуглом. а уж с fuse-то перформанс известно какой будет ... смешной.

Когда я последний раз смотрел на страничку их тестов - тесты были, скажем так, достататочно выборочные. Вроде бы у меня были еще какие-то нарекания, но поскольку я туда давно смотрел, то забыл уже.

> не поверю. я не идиот. цифры покажите, потом разглагольствуйте здесь

А вот цифры то я как раз показал. Я на самом деле не письками померяться хочу, я стою перед выбором распределенной fs и пока что выбор мой падает на gluster, однако я бы с большим интересом послушал аргументированные возражения поклонников lustre. Свое мнение я высказал выше, цифры приведены. Аргументы есть или нет ?

Поскольку перед сном смотреть к ним туда мне лень, расскажи как они обеспечивают консистентность данных в одном страйпе (я так понял они таки научились поддерживать страйпы, а то изначально делали довольно громкие заявления, что страйпы это фигня, хехе) к которым ведется доступ с нескольких клиентов одновременно. Как они обеспечивают консистентность метаданных мне тоже интересно, и никаких воспоминаний об этом с их сайта у меня не сохранилось.

> А вот цифры то я как раз показал.

несколько мегабайт в секунду? это цифры что-ли? кластер из бк-0010 собираете?

категорически не рекомендую гластер. имел с ним опыт постройки fs из 5 узлов. УЖАСНО, просто катастрофически, невыносимо глючен. память течет, клиенты и серверы падают по SIGSEGV, разработчики разводят руками и говорят, что не могут воспроизвести проблему.

ну и еще один немаловажный момент: glusterfs пишут индусы.

достаточно?

> ну и еще один немаловажный момент: glusterfs пишут индусы.

Вот интересно, это и есть основная проблема ?
Просто я пока что провел несколько тестов и не обнаружил ни падучести, ни утечек памяти.