Выход файловой системы Lustre 2.1

> Есть около 20 серверов по всему миру, в качестве ОС используется Linux/FreeBSD. Хочется сделать кластер.

это будет называться не кластер. начни с чтения терминологии и основ в wiki

Она их только хранит, или к ним идёт интенсивное обращение?

Интенсивного обращения нет. Хранятся только образы с ОСью, если в /usr никто срать не начнет, то всё будет ok.

Ну вот. А когда к ней идёт интенсивное обращение - начинается полный АДъ, вплоть до полного зависания серверов.

У нас всё предусмотрено. Если виртуалка хочет интенсивного I/O, то разделы с данными создаются на локальных дисках, а в совсем запущенных случаях на сырых разделах.

А может имело бы смысл сделать сторадж, и жарить его по iSCSI или AoE?

AFS подойдет

какие только костыли не придумают, чтоб план9 не использовать

>Есть около 20 серверов по всему миру.

gluster отлично подойдет.

> Там изначально вроде как планировалась масштабируемая клиент-серверная реализация, которая в случае небольшого количества клиентов была бы альтернативой NFS.

C учетом того что 2 клиента не могли писать в один файл в непересекающиеся области без lock ping-pong - то нафик это поделие кому-то надо было. А на попытки автора заострить на этом внимание заявы что он делать лучше чем локинг VFS не будет (а там все сериализуется одним семафором) - ибо некошерно.

Хотелось бы что бы кто то сравнил GlusterFS, Ceph, Lustre, Elliptics.

> Кстати, если им не пользоваться через fuse
Поподробнее, пожалуйста.

Если не монтировать через glusterfs, а монтировать как обычную NFS-шару. У гластера есть такая штука - трансляторы. Их можно теоретически как-то там руками настраивать, но я человек ленивый и поэтому просто пользуюсь транслятором в NFS, который настраивается по дефолту (посмотрите ps aux | fgrep nfs.vol). Так-то оно понятно, что гластер не на уровне ядра работает, но ведь это по сути всё-таки и не файловая система, а просто умный механизм репликации файлов, добавляющий один дополнительный уровень абстракции, так что здесь всё равно львиная доля именно «файлосистемной» логики приходится на драйвер ядра для реальной ФС.

Эта логика может быть где угодно, если нет переключения контекстов. А оно есть.

>Если не монтировать через glusterfs, а монтировать как обычную NFS-шару.
Плюс прощайте блокировки и расширенные атрибуты. Кроме того, гластер помирает при более-менее высокой нагрузке. Люстре он не конкурент по скорости и надежности.

>У нас всё предусмотрено. Если виртуалка хочет интенсивного I/O, то разделы с данными создаются на локальных дисках, а в совсем запущенных случаях на сырых разделах.

да хреновенько выходит. 20 виртуалок сажают локальное хранилище почти в ноль...

а не надо 20 виртуалок пускать на одной машине

а каким боком btrfs к кластерным файловым системам?

>а не надо 20 виртуалок пускать на одной машине

а смысл тогда? 48-ядерный узел с хорошим объемом ОЗУ. Все неплохо, но io надо лечить.

На кой? Лучше поставить 8 6ти ядерных.

>На кой? Лучше поставить 8 6ти ядерных.

а место в стойке? а цена восьми серверов вместо одного? а электричество и охлаждение?

Боюсь, что 48 ядерный монстр будет стоить дороже чем 8 обыкновенных серверов.

>Боюсь, что 48 ядерный монстр будет стоить дороже чем 8 обыкновенных серверов.

да ни разу. Он стоит примерно как два 8-ядерных сервера.

Ну допустим. А что ты будешь делать когда эта машинка рухнет?

Смешались в кучу кони, люди...

>Gluster есть только через FUSE. И оно несколько иначе работает.

попинал его немного. оказалось 3.2 работает и без FUSE. если монтировать как NFS

>Но думаю, что она лучше тем, что работает.

GlusterFS работает. инфа 100%

Оно-то работает. Другой вопрос - КАК оно работает.....

Ну, поставил 3.2 на файл-сервер вместо NFS, файлопомойка и NIS, второй день — полет нормальный. Работает однозначно быстрее, чем NFS, пропали глюки с пользовательскими профилями. Очень приятно управляется. Планирую подключить второй сервак(удаленный) через geo-replication.

В качестве файлопомойки-да, работает. А вот я разок попытался положить на неё шаред-контент сайта...

и каковы проблемы? и версия какая?

А вот я разок попытался положить на неё шаред-контент сайта...

я планирую сейчас сделать то же самое.

>> А вот я разок попытался положить на неё шаред-контент сайта...

я планирую сейчас сделать то же самое.

Как напробуетесь - сообщите о результатах.

и каковы проблемы? и версия какая?

Пробовал с одинаковым успехом 3, 3.1, 3.2

я планирую сейчас сделать то же самое.

Ну... Я - не советую. Я пробовал...

>Ну... Я - не советую. Я пробовал...

так в чем конкретно проблемы?

Работает крайне медленно и нестабильно, высокая нагрузка на ноды ФС, высокая нагрузка на клиента в режиме FUSE, а в режиме НФС - через 10-15 минут процесс (кажись) klockd отжирал все ресурсы с концами - спасала только перезагрузка.