кластреная ФС и gluster на одной железке.

1

2

Приветствую!

По теме возникла одна трабла. Может, конечно, и не трабла, но вопросы имеются :-)

Сделал два варианта решения.

Вариант №1

На нодах выделил раздел под glusterfs (он будет использоваться под БД oVirt'a, либо под виртуалку с oVirt'ом) в режиме replica. Эта конфигурация работала (писались файлы, имитация падения железки, выдергивание дисков, в общем, годные тесты), ноды синхронизировались. Далее, подключаю полку по iSCSI. Монтирую, создаю gfs2. Опять же, пишет прекрасно, но медленно, пока все три (пока их три) ноды подняты. Стоит одну из них положить, остальные две уходят в «неизвестное» состояние. Вроде как и доступны, а работать на них нельзя. Ну типа комы что-ли. Поднимается опущенная железка, и вуаля! Синхронизация и опять работа. Скорость записи (dd if=/dev/zero of=/sharedata/20G count=1000 bs=20M) примерно 130M/sec (на чистой ext4 было в районе 500M/sec). Чтения же - 600M/sec. Ниже пример cluster.conf от cman'a:

<?xml version="1.0"?>
<cluster name="first-cluster" config_version="1">
    <fence_daemon post_fail_delay="0" post_join_delay="8"/>
        <clusternodes>
                <clusternode name="nn01" nodeid="1" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="fence_manual" nodename="nn01"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="nn02" nodeid="2" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="fence_manual" nodename="nn02"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="nn03" nodeid="3" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="fence_manual" nodename="nn03"/>
                                </method>
                        </fence>
                </clusternode>
        </clusternodes>
        <fencedevices>
                <fencedevice agent="fence_manual" name="fence_manual"/>
        </fencedevices>
        <rm>
                <failoverdomains>
                </failoverdomains>
        </rm>
        <dlm plock_ownership="1" plock_rate_limit="0"/>
        <gfs_controld plock_rate_limit="0"/>
</cluster>

Вариант №2

Такая же конфигурация, только вместо gfs2 использовалась ocfs2. Проблема не заставила себя долго ждать: не монтируется gluster. Ядро взято с public-yum.oracle.com (rpm пакет)

uname -r
2.6.39-400.109.6.el6uek.x86_64

Скорость записи в районе 130M/sec. Чтения - 40M/sec (да-да, СОРОК)

------------

Ну а теперь вопросы :-):

1) какой использовать fence метод чтобы избежать подвисания оставшихся в живых нод?

2) ocfs2 и glusterfs на одной железке работают?

3) есть-ли какие альтернативы ocfs2 и gfs2 (за что, конечно же, платить не нужно ;-))

4) может-ли работать gluster в «обраную» сторону? (не с трех нод объединять три раздела и отдавать его как один, а отдавать один раздел (iSCSI) трем нодам, при этом не зависеть от какой-либо одной ноды (так пробовал, скорость - огонь! Только нельзя ей падать :-)))

-----

За любой ответ/совет буду очень признателен.