LINUX.ORG.RU
ФорумAdmin

[проблемы] Кто юзал SCST-iSCSI?


0

1

Собсно надо сделать iSCSI-хранилище для трёх серверов VMWare ESXi. Решил заюзать сабж как наиболее производительную вещь судя по тестам и активности ее разработки. Но появилась какая-то странная проблема: иногда оно зависает, но как-то хитро, уже подключеные инициаторы продолжают работать, а новые подключиться уже не могут. Если старые отключатся, то заново уже не подключатся. Лечится только перезагрузкой полной таргета.

Перепробовал разные версии ядер (longterm 2.6.35.13, 2.6.37.6, 2.6.38.5) и SCST (trunk, бранчи 2.0.0.x, 2.1.0.x).

Собирал SCST как патч к ядру, так и модулями, один хрен.

ОСь генту.

Проверяю просто экспортируя тестовый файлик через fileio:

echo "add_device TEST1 filename=/test1.img; nv_cache=1" > /sys/kernel/scst_tgt/handlers/vdisk_fileio/mgmt
echo "add_target iqn.2011-04.ru.domain:TEST1" > /sys/kernel/scst_tgt/targets/iscsi/mgmt
echo "add TEST1 0" > /sys/kernel/scst_tgt/targets/iscsi/iqn.2011-04.ru.domain:TEST1/luns/mgmt
echo 1 > /sys/kernel/scst_tgt/targets/iscsi/iqn.2011-04.ru.domain:TEST1/enabled
echo 1 > /sys/kernel/scst_tgt/targets/iscsi/enabled

В случае если инициатор корректно подключается, то ядро выдает:


May 10 11:30:47 krvmstor kernel: [   70.544888] iscsi-scst: Negotiated parameters: InitialR2T No, ImmediateData Yes, MaxConnections 1, MaxRecvDataSegmentLength 1048576, MaxXmitDataSegmentLength 131072,
May 10 11:30:47 krvmstor kernel: [   70.544890] iscsi-scst:     MaxBurstLength 131072, FirstBurstLength 131072, DefaultTime2Wait 0, DefaultTime2Retain 0,
May 10 11:30:47 krvmstor kernel: [   70.544893] iscsi-scst:     MaxOutstandingR2T 8, DataPDUInOrder Yes, DataSequenceInOrder Yes, ErrorRecoveryLevel 0,
May 10 11:30:47 krvmstor kernel: [   70.544897] iscsi-scst:     HeaderDigest None, DataDigest None, OFMarker No, IFMarker No, OFMarkInt 2048, IFMarkInt 2048
May 10 11:30:47 krvmstor kernel: [   70.544900] iscsi-scst: Target parameters set for session 20200003d0200: QueuedCommands 32, Response timeout 90, Nop-In interval 30, Nop-In timeout 30
May 10 11:30:47 krvmstor kernel: [   70.544940] scst: Using security group "iqn.2011-04.ru.domain:TEST1" for initiator "iqn.1998-01.com.vmware:vm1"
May 10 11:30:47 krvmstor kernel: [   70.544964] scst: Processing thread TEST1_L02_0 (PID 2745) started
May 10 11:30:47 krvmstor kernel: [   70.544974] scst: Processing thread TEST1_L02_1 (PID 2746) started
May 10 11:30:47 krvmstor kernel: [   70.544986] scst: Processing thread TEST1_L02_2 (PID 2747) started
May 10 11:30:47 krvmstor kernel: [   70.544995] scst: Processing thread TEST1_L02_3 (PID 2748) started
May 10 11:30:47 krvmstor kernel: [   70.545005] scst: Processing thread TEST1_L02_4 (PID 2749) started
May 10 11:30:47 krvmstor kernel: [   70.545017] scst: Processing thread TEST1_L02_5 (PID 2750) started
May 10 11:30:47 krvmstor kernel: [   70.545027] scst: Processing thread TEST1_L02_6 (PID 2751) started
May 10 11:30:47 krvmstor kernel: [   70.545037] scst: Processing thread TEST1_L02_7 (PID 2752) started

А при подключении второго инициатора:

May 10 11:35:33 krvmstor kernel: [  356.609489] scst: Using security group "iqn.2011-04.ru.domain:TEST1" for initiator "iqn.1998-01.com.vmware:vm2"
и всё, после этого подсистема отмирает и перестает принимать новые коннекты.

Проблема явно в SCST, т.к. перезагрузка вмварных хостов ни на что не влияет.

Впрочем, иногда работают все три хоста нормально, но до перезагрузки либо инициаторов, либо таргета. В общем проблема какая-то плавающая. Я вообще очень удивился, т.к. сабж вроде как уже давно и безнадёжно Stable, а тут такой явный косяк... ЧЯДНТ?

К ним в mailing list написал со всеми логами мессагу на той неделе, но, "- доктор, кажется меня все игнорируют! - следующий!" :)

★★★★★

Последнее исправление: blind_oracle (всего исправлений: 1)

а почему iscsi, а не nfs?

zgen ★★★★★
()

К ним в mailing list написал со всеми логами мессагу на той неделе, но, "- доктор, кажется меня все игнорируют! - следующий!" :)

Это значит, что этим продуктом мало кто пользуется. И вообще, у меня сложилось мнение, что с iscsi sofware target'ами все очень и очень плохо.

zgen ★★★★★
()
Ответ на: комментарий от zgen

Ну, на этом кластере будут крутится довольно нагруженые виртуалки, к таргету линк 10Гбит, и лишний оверхед в виде файловой системы на таргете, плюс сам NFS мне ни к чему.

Собсно другой iscsi таргет, stgt, вполне себе хорошо работает, но он на 95% реализован в userspace, и, соответственно, тормознее. В некоторых случаях в разы. Если у меня так и ничего не срастётся с SCST, то буду юзать его.

А насчёт пользуется - тут как раз всё наоборот, просто конкретно мой вопрос остался без ответа, хотя по другим топикам обсуждение идёт вполне живое...

По сабжу - поэксперементировал в виртуалке, поставил дебиан 6.0.1а и собрал для его родного ядра (2.6.32) SCST, проблем вроде как нет таких как я наблюдаю на своей железке, таргет работает как надо, буду разбираться дальше...

blind_oracle ★★★★★
() автор топика
Ответ на: комментарий от Led

Возможно, сегодня попробую дебиан на реальной железке. А ядра ванильные или дистрибутивные?

blind_oracle ★★★★★
() автор топика
Ответ на: комментарий от Led

И да, пытался попробовать ядро 2.6.32.40, но в нем какой-то глючный драйвер mpt2sas, мой встроенный контроллер LSI2008 он не определяет нормально, хотя PCI ID в драйвере есть. А на нём рутовая фс лежит. Работать начинает он только с 2.6.34.х

blind_oracle ★★★★★
() автор топика
Ответ на: комментарий от blind_oracle

>И да, пытался попробовать ядро 2.6.32.40, но в нем какой-то глючный драйвер mpt2sas

Используй дистрибутивные ядра. SLES или RHEL

Led ★★★☆☆
()
Ответ на: комментарий от Led

В общем я разобрался, проблема была не в ядрах и гентах, а в связке VMWare + довольно новые версии SCST.

Вот тут добрый человек буквально сегодня запостил предварительный патчик, который всё лечит:
http://sourceforge.net/mailarchive/forum.php?thread_name=A080550CDF8120479D5C...

blind_oracle ★★★★★
() автор топика
Ответ на: комментарий от Led

А насчёт дистрибутивных ядер - я привык к ванильным, да и авторы SCST поддерживают только ванильные ядра, ну и немного RHEL. А редхаты я не шибко люблю...

blind_oracle ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.