Как «ускорить» OCFS2 тормозит, что бы это могло быть?

В итоге всё работает медленнее, чем на NFS, очень ощутимо при том.

Насколько медленнее? Можно увидеть в цифрах сравнение скоростей чтения/записи на NFS и на OCFS2?
Какая сеть: 100Мбит, 1Гбит, ... ?

Кластерная ФС (ocfs2) и сетевая FS это как бы совершенно разные вещи. На OCFS много времени будет уходить на синхронизацию нод между собой (кто чего обновил и чего залочил), он создавался для совсем других целей. В качестве воркэраунда, чтобы снизить количество изменений, попробуй например монтировать с опцией noatime - должно несколько помочь.

iSCSI сам по себе не очень быстрый, на гигабите на «железных» iSCSI, bonnie тест выдавал не больше 30Мб.

40MB/s на гигабите. tgtd из iscsi-initator-utils, правда и внутренний диск был не особо быстрый...

Это у вас айскази неправильный. У меня iSCSI-SCST работает на скорости сети, в т.ч. и на 10G линках (тут уже упор в диски)

Скажите лучше что-нибудь про iscsi-target :) Так вообще юзеры на удивление довольные какие-то, я прям даже не знаю. На мой взгляд, медленно всё. Да, сеть гигабитка, у всех экранированный кабель, так что проблем быть не должно.

iSCSI-SCST легко настраивается или геморрой какой-нибудь есть?

ISCSI-SCST это и есть таргет. Настраивается в общем просто. Я собираю ядро с патчем SCST сразу, чтобы без модулей.

Таргеты и луны настраиваются через sysfs несколькими командами напрямую, или через скрипт scstadmin, который в общем-то делает то же самое.

Скорость у него - наилучшая из всех реализаций iSCSI таргетов под линупсом.

У меня к сожалению ядро ещё довольно непростое - это Proxmox VE, там ядро должно обновляться вместе с дистрибутивом. А этот дистрибутив - ни что иное как Debian 5 в основе своей. В общем, интересно всё :(

Хотя вот, нашлось!

# apt-cache search scst
iscsi-scst - Generic SCSI Target Subsystem for Linux
scstadmin - SCST configuration and administration scripts

А зачем iSCSI таргет запускать на хосте виртуалок?

У нас сервер один на всё :) Да и виртуалки на другие диски пишут, так что не вижу большой беды. К тому же, там все виртуалки почти маломощные

А можно несколько разных реализаций iSCSI-target'ов на одной машине запустить?

Если раскидать по разным портам, то, я думаю, можно. Особенно если одна гибридная ядерная\юзерспейс, как SCST, а другая какая-нибудь чисто юзерспейсная, а может и тоже гибридная, как stgt.

Но я не пробовал.

Ну, главное чтобы там ядро особо древнее не было. SCST то я думаю заработает, но могут быть проблемы со скоростью.

если ядро от проксмокса, то как вообще ocfs2 завелось, если в ядре собран модуль только для gfs2? но у меня проксмокс2 на основе debian squeezy, так что может поменялось что.

cat /boot/config-2.6.32-11-pve |grep -i ocfs2
# CONFIG_OCFS2_FS is not set
cat /boot/config-2.6.32-11-pve |grep -i gfs2
CONFIG_GFS2_FS=m
CONFIG_GFS2_FS_LOCKING_DLM=y

и еще такой вопрос: есть какие проблемы с контейнерами ovz на кластерной фс? ovz официально поддерживает только ext2/3 судя по их вики. хотя gfs2 в базгилле упоминается и кажись даже работает.

Не проверял, но OVZ - это разбухший от собственной крутости chroot/jail, ему вообще должно быть без разницы, на какой файловой системе его «псевдокорень» размещается.

на практике не совсем так. вот что FAQ пишет:

What filesystems should I choose for saving my containers?
    Any filesystem which supports Unix style permissions is usable, such as Ext3 or ReiserFS. XFS works, but does not have support for disk quotas inside containers.

GFS2 и GPFS пробовали?

Нет, собираюсь попробовать CEPH, я был очень приятно поражён качеством их документации и очень обнадёживающей отказоустойчивой архитектурой. OCFS2 кстати удалось разогнать так, что быстрее локальной ext бывает, это просто поразительно. Но она, ...ка, перезагружает мне рабочие станции ни с того, ни с сего - дурацкий heartbeat меня уже достал.

Ceph? А разве оно не тормоз? Особенно в случае записи мелких файлов?
Это же, вроде, распределенная ФС, а не кластерная.

Вы так на полном серьёзе говорите «распределенная ФС, а не кластерная», словно это не иначе как взаимоисключающие понятия. Ну да, и распределённая и кластерная. И после тормоза Gluster, всего лишь на тысячах файлов (не на миллионах ведь) просто впадающего в ступор, меня уже ничем не удивишь.

Обычно кластерная ФС подразумевает использовать SAN (блочный уровень устройств доступен всем участникам), а распределенная - механизм отделения клиентов от реального хранилища.

Кластерная - относится к методу доступа, распределённая - к особенностям хранения . Одно другому не мешает совершенно. Распределённая может не быть кластерной, кластерная может не быть распределённой, но ничто не мешает ФС быть и распределённой, и кластерной.

Вы распределенную с параллельной не путаете?

подскажи, плиз, как ocfs разогнал.. 1 в 1 проблема. секреты в монтировании или в настройках каких?