Проблема с SAN сторджем

не знаю как у вас, но редхат по-умолчанию цепляет не тот драйвер

в смысле, если у вас загружен qla2300, то выгрузьте его и загрузите qla2400

Система CentOS, карточка Qlogic QLA 2340. Загружен драйвер qla2xxx т.е. тут порядок.

Обновил прошивки на контроллерах, свичах, HBA в сответствии с таблицей совместимости HP. Не помогло... :(

Дрова с сайта хьюлета поставить надо (те что для RHEL). Они же обеспечивают мультипасинг. Ну и на еве посмореть отдан ли лун хосту.

Стояли дрова с qlogic.com версии 8.02.08. Поставил с HP 8.01.07.25-fo. Ничего не изменилось. На еве хосту виртуальный диск презентован.

>Загружен драйвер qla2xxx

непорядок, надо 2400 загружать

Ну процентов на 90 думаю, что Вы где ошиблись в зонах или презентации луна на хост. Ну случайно пары HBA в одной зоне нет?

Покажите с нормальным форматированием dmesg, /proc/scsi/scsi

qla2xxx на сколько я понимаю для и для всех моделей, маркировка которых начинается с двойки. У меня Qlogic QLA2340, так они про себя говорят при инифиалицации биоса.

lspci | grep Fibre

06:01.0 Fibre Channel: QLogic Corp. ISP2312-based 2Gb Fibre Channel to PCI-X HBA (rev 02) 06:02.0 Fibre Channel: QLogic Corp. ISP2312-based 2Gb Fibre Channel to PCI-X HBA (rev 02)

по информации HP: http://docs.hp.com/en/5992-3193/ch03s04.html?jumpid=reg_R1002_USEN - у них значится как A7538A.

В Release notes к драйверу на сайте HP написано, что этот девайс поддерживается драйвером.

http://h20000.www2.hp.com/bizsupport/TechSupport/SoftwareDescription.jsp?swIt...;

Из сырцов собираются следующие модули:

/lib/modules/2.6.18-53.1.21.el5PAE/kernel/drivers/scsi/qla2xxx/

-rw-r--r-- 1 root root 254071 Jun 7 14:41 qla2300.ko -rw-r--r-- 1 root root 338502 Jun 7 14:41 qla2400.ko -rw-r--r-- 1 root root 380647 Jun 7 14:41 qla2xxx_conf.ko -rw-r--r-- 1 root root 3385596 Jun 7 14:41 qla2xxx.ko

После загрузки системы:

lsmod | grep qla

qla2400 213632 0 qla2300 130048 0 qla2xxx 265976 2 qla2400,qla2300 scsi_mod 132685 6 sg,usb_storage,libata,cciss,qla2xxx,sd_mod qla2xxx_conf 305924 1 intermodule 8196 2 qla2xxx,qla2xxx_conf

При загрузке отдельно только qla2400 или qla2300, они всеравно загружают qla2xxx, но если qla2300 видит контроллеры и создает женерик девайсы

QLogic Fibre Channel HBA Driver: 8.01.07.25-fo QLogic QLA2340 - ISP2312: PCI-X (100 MHz) @ 0000:06:01.0 hdma+, host#=0, fw=3.03.19 IPX Vendor: HP Model: HSV210 Rev: 6110 Type: RAID ANSI SCSI revision: 05

то qla2400 пишет только "QLogic Fibre Channel HBA Driver" и все.

Куда копать?

На сайте портится форматирование.

http://medved.kiev.sovam.com/dmesg.txt http://medved.kiev.sovam.com/scsi.txt

Как проверить, чтобы небыло пары HBA в одной зоне?

Из конттроллеров четные порты включены в один свич, а нечетные в другой. Сереверок включен каждым HBA в отдельный свич. Вот так: http://medved.kiev.sovam.com/shema.jpg

Предистория такова: Еву перевозили с одного места на другое. Разбирал и собирал девайсы в шкафу шкафа инженер HP. После приезда на новое место он обновил прошивку на дисках и прошивку контроллеров.

При загрузке системы в логах было:

http://medved.kiev.sovam.com/dmesg.old

Хоть были неудачные попытки определить девайсы. После рестарта свичей и дисковых полок - попытки прекратились.

>Как проверить, чтобы небыло пары HBA в одной зоне?

На коммутаторах вестимо. Если бы Вы сказали кто производитель (Brocade, Cisco) я бы может даже подсказал как.

>Из конттроллеров четные порты включены в один свич, а нечетные в другой.

Две независимые фабрики это, без сомнений, хорошо!

>После приезда на новое место он обновил прошивку на дисках и прошивку контроллеров.

Просто интересно, а к этому были показания?

В общем проверяйте зоны, это раз. Стандартное правило: в зоне должен быть только 1 HBA, таргетов может быть сколько угодно.

Конкретно по Вашей картинке: по две на каждый сервер (по 1-й в каждой фабрике) + зона для хоста с CommandView (я так полагаю, что он в 1 фабрике). Нужно смотреть чтобы в зоне был только 1 WWN от инициатора (HBA), ну или алиас. Судя по тому что контроллеры евы видно, HBA находятся в нужных зонах, осталось проверить нет ли там еще кого-то.

Два состоит в том чтобы проверить кому презентован лун. Я не помню как там в евах, но к примеру в хитачи lun презентуется на WWN адаптера (и даже можно выбрать через какой порт и контроллер). В массивах попроще тоже вроде так. Так что если адаптер меняли это стоит проверить.

>видит контроллеры и создает женерик девайсы

Тут все правильно. Эти, как Вы выразилась, "женерик девайсы" - HSV210 это контроллеры евы. Их 8 штук - по количеству путей.

Я склонен считать, что с драйвером (тот который от HP) все нормально. Он так и должен работать.

Нормально было бы в том слачае, если бы он создавал блочные устройства /dev/sda /dev/sdb, которые потом юзаются в multipath. generic devices нельзя для этого использовать...

Если Вы хоть раз подключали внешний массив (к примеру еву), то знаете что писюк должен видеть как минимум два устройства: 1 - это generic с типом RAID (это сам контроллер), 2 - это блочное устройство с типом Direct-Access.

Если путей несколько, то и устройств будет несколько.

Так вот у автора с контроллерами все нормально, а lun-ов не видать. отсюда я сделал предположение что либо выдано криво, либо в зонах косяки.

>В общем проверяйте зоны, это раз. Стандартное правило: в зоне >должен быть только 1 HBA, таргетов может быть сколько угодно.

Что такое зоны?

В Command View я сделал следующее:

1. Определил какие 2 WWN принадлежает моему сервачку, а какой на хочте с Command View 2. Создал новых хост и назначил ему два WWN тех HBA, которые установлены в сервачке. 3. Создал виртуальный диск, который презентовал серверку.

Никакого упоминания о зонах там нет.

>Просто интересно, а к этому были показания? Нет

>В общем проверяйте зоны, это раз. Стандартное правило: в зоне должен >быть только 1 HBA, таргетов может быть сколько угодно.

>Конкретно по Вашей картинке: по две на каждый сервер (по 1-й в >каждой фабрике) + зона для хоста с CommandView (я так полагаю, что >он в 1 фабрике).

Да, в первой.

>Нужно смотреть чтобы в зоне был только 1 WWN от инициатора (HBA), >ну или алиас. Судя по тому что контроллеры евы видно, HBA находятся >в нужных зонах, осталось проверить нет ли там еще кого-то.

Как это проверить?

На втором серверке подключенном к Eva SuSe с дефолтными после установки настройками.

Там в логе:

Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: scsi: unknown device type 12 Jun 8 00:58:30 cms kernel: Vendor: HP Model: HSV210 Rev: 6100 Jun 8 00:58:30 cms kernel: Type: RAID ANSI SCSI revision: 05 Jun 8 00:58:30 cms kernel: 0:0:0:0: Attached scsi generic sg0 type 12 Jun 8 00:58:30 cms kernel: 0:0:1:0: Attached scsi generic sg1 type 12 Jun 8 00:58:30 cms kernel: 0:0:2:0: Attached scsi generic sg2 type 12 Jun 8 00:58:30 cms kernel: 0:0:3:0: Attached scsi generic sg3 type 12 Jun 8 00:58:30 cms kernel: 1:0:0:0: Attached scsi generic sg4 type 12 Jun 8 00:58:30 cms kernel: 1:0:1:0: Attached scsi generic sg5 type 12 Jun 8 00:58:30 cms kernel: 1:0:2:0: Attached scsi generic sg6 type 12 Jun 8 00:58:30 cms kernel: 1:0:3:0: Attached scsi generic sg7 type 12 Jun 8 01:06:22 cms kernel: rport-0:0-1: blocked FC remote port time out: saving binding Jun 8 01:06:22 cms kernel: rport-1:0-1: blocked FC remote port time out: saving binding Jun 8 01:06:22 cms kernel: rport-0:0-3: blocked FC remote port time out: saving binding Jun 8 01:06:22 cms kernel: rport-1:0-3: blocked FC remote port time out: saving binding Jun 8 01:06:51 cms kernel: rport-0:0-0: blocked FC remote port time out: saving binding Jun 8 01:06:51 cms kernel: rport-0:0-2: blocked FC remote port time out: saving binding Jun 8 01:06:51 cms kernel: rport-1:0-0: blocked FC remote port time out: saving binding Jun 8 01:06:51 cms kernel: rport-1:0-2: blocked FC remote port time out: saving binding

Jun 8 01:06:22 cms kernel: rport-0:0-1: blocked FC remote port time out: saving binding

Восемь таких сообщений. /dev/sg0 ... /dev/sg7

>Что такое зоны?

Вы хотите чтобы я кратенько объяснил как устроены сети хранения данных? o_O

И еще... у Вас есть ева, но нет людей умеющих с СХД обращаться?

>В Command View я сделал следующее

CV это ПО для управления евой. Про фабрики оно ничего не знает.

Зоны настраиваются на свичах. Либо через веб, либо через ssh. Зоны и есть средство разграничения кто куда в фабрике ходить может. Если настроены криво, то хосты будут тупо мешать друг другу.

Про CV и презентацию лунов лучше посмотрите мануал - я не готов ответить про корректность описанных вами действий.

>Вы хотите чтобы я кратенько объяснил как устроены сети хранения >данных? o_O

Такого вопроса я не задавал, но если есть желание...

>И еще... у Вас есть ева, но нет людей умеющих с СХД обращаться?

Всегда приходится что-то делать в первый раз, правда?

>Зоны настраиваются на свичах. Либо через веб, либо через ssh. Зоны и >есть средство разграничения кто куда в фабрике ходить может. Если >настроены криво, то хосты будут тупо мешать друг другу.

Смотрел презентацию, все просто. В этом вопросов не возникает. К тому же до перевозки Ева работала и свичи не перенастраивались.

Конфигурация зон на свичах:

http://medved.kiev.sovam.com/switch.txt

Т.е. на сколько я понимаю надо на месте посмотреть, что у меня в какой свич включено, и совпадает ли оно с конфигурацией зон...