GlusterFS. Нужен стресс-тест

Какая нагрузка планируется на такой сторедж?

Чтение/запись небольших файлов. Планируется использовать под хранилище почты, в первую очередь.

У гластера не особо хорошо на мелких файлах с кучей iops'ов. Если нагрузка небольшая, то сойдёт, если хайлоад, то напряжно.

Иопсы можешь потестить через fio.

Если нагрузка небольшая, то сойдёт, если хайлоад, то напряжно.

А что под хайлоад? Ceph?

Смотря какой хайлоад. И смотря как использовать гластер (FUSE или API).

Я так понимаю, ТС просто собрался монтировать гластер-шару и скармливать точку монтирования почтовым демонам. Это не сильно хорошая мысль при очень больших иопсах. По API намного меньше оверхеда (потому что нет FUSE), но API гластера поддерживается почти никак сторонним софтом (хотя самба, например, умеет).

Можно, конечно, смотреть в сторону ceph или BeeGFS, но, повторю, нужно понимать, под какие нагрузки сторедж.

Я просто смотрю в сторону Gluster, так как он поддерживается oVirt. И судя по всему в этой связке Gluster отдаёт файлы по встроенному NFS. На одном кластере сейчас Ceph, и что он бедный только не переживал, а всё равно работает. Вот и думаю, стоит ли вообще заморачиваться с Gluster в случае с oVirt.

в этой связке Gluster отдаёт файлы по встроенному NFS

А не по API разве?

В одном месте пишут, что используется libgfapi, но в рассылке за июнь 2014 «We have been running GlusterFS 3.4 with RHEV in production for about six months now. We were waiting for libgfapi support to show up for long time but finally we had to give up waiting and start using fuse mounts. ». Так что непонятно. :-)

У гластера не особо хорошо на мелких файлах с кучей iops'ов

Зато в R/O можно тянуть прямо с локальной реплики с обычной FS.

О BeeGFS я почитаю, но о Ceph к сожалению пришлось отказаться. Среди требований: ФС должна уметь работать уже на двух серверах, тогда как под ceph требуется минимум 5 или 6, на сколько я начитался. Плюс важным требованием является возможность быстрого и простого развертывания. Я не пробовал Люстру развернуть на Fedora, но на CentOS у меня она так и не заработала. Может быть руки кривые, я понимаю. Но не получилось. ГластерФС тоже захотела нормально развернуться только на Дебиан и Федоре. Собственно, на ЦентОС мне удалось развернуть только OCFS2, да и то только на версии 6,3. Не более поздней. На 7,0 уже не разворачивалась.

Или по Ceph я не прав и она развернется на двух серваках? Люстра на Федоре тоже нормально развернется?

И почему я сразу за советами сюда не пошел, а потратил на Гугление неделю...

Ceph можно и на одном хосте запустить. Только это некошерно.

Эксплуатируем гластер на 7-й центоси без проблем (три ноды, две из них в реплике). До этого была шестая центось тоже на три ноды, но в другой конфигурации и тоже без проблем.

Зато в R/O можно тянуть прямо с локальной реплики с обычной FS.

Кстати, сейчас обнаружил, что если в локальный brick тома (прямо на обычной FS) кинуть файл, то он отлично подхватывается сетью и раскидывается по другим машинам. Т.е. локально можно не только читать быстро, но и писать (если не важна синхронность изменений).

Никто не оценивал, насколько корректна такая работа? :)

Дело в том, что я читал о ceph статью, в которой было написано про необходимость в ceph минимум трех нодов только под метаданные.

А кто нибудь может скинуть нормальный мануал по настройке Гластера и/или Цепха на ЦентОС7.0? Что ни нахожу, нифига не работает(((

Неожиданный поворот. На Оф.сайте ceph.com появился юзер-гид для седьмой ЦентОС. В начале предыдущей недели небыло. Я сейчас попробую этим воспользоваться, но... Вы уверены, что Ceph заработает на двух серверах? Т.е. в принципе, заработает? Заработает так, как надо. Т.е. с возможностью добавления и удаления НОДов на лету, распределением данных по НОДам, выдержит нагрузочное тестирование...

Или даже скажем так: Я могу расположить монитор и один из файловых серверов на одном физическом сервере, так? А на втором серваке уже сделать только файловое хранилище.

Вы уверены, что Ceph заработает на двух серверах?

Ceph и на одном заработает. Но Ceph != CephFS.

Простите за глупый вопрос, но что эта ваша фраза означает? И кстати, кто что порекомендует использовать для Ceph`а в качестве точки монтирования?

Моя фраза значит «Ceph это не CephFS».

А что подразумевается тогда под Ceph?

Ну вот пример. На двух нодах он (ceph) мне предлагает развернуть роль монитора и роль OSD на втором серваке. Но о какой отказоустойчивости вообще тогда можно говорит?:) Я сейчас конечно попробую монитор засунуть на osd...

Посмотри вики, там схемки есть:

https://en.wikipedia.org/wiki/Ceph_(software)

тестировать можно при помощи iozone.

форматирование и работа с бтрфс)

Люстра под Centos 6.X работает на ура и разворачивается за несколько минут (не считая чтения доков). Но вот только только она не очень заточена под большие массивы мелких файлов. Доходит до того, что администраторы некоторых кластеров предлагают создавать ФС в файлах, монтировать через loopback и использовать именно в таком виде для мелких файлов. Советую очень внимательно ознакомиться с соответствующими гайдами и понятием страйпинга в люстре.