LINUX.ORG.RU
Форум — Linux-hardware  

Как настроить СХД через FC HBA?

 , ,


0

2

Есть СХД HP StoragWorks MSA 2312fc которая через FC подключена в плату Emulex A8003A, ОС - CentOS последняя при включении сервера на этапе загрузки Emulex он поднимает соединение, пишет что все ок. далее грузится сама система - лампочки уже моргают, как будто соединения нет. хотя вроде как статус онлайн: 

[root@server1 ~]# systool -c fc_host -v host4
Class = "fc_host"

  Class Device = "host4"
  Class Device path = "/sys/devices/pci0000:00/0000:00:07.0/0000:04:00.1/host4/fc_host/host4"
    active_fc4s         = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
    dev_loss_tmo        = "30"
    fabric_name         = "0x0"
    issue_lip           = <store method only>
    max_npiv_vports     = "127"
    maxframe_size       = "2048 bytes"
    node_name           = "0x20000000c97aadc5"
    npiv_vports_inuse   = "0"
    port_id             = "0x000002"
    port_name           = "0x10000000c97aadc5"
    port_state          = "Online"
    port_type           = "Point-To-Point (direct nport connection)"
    speed               = "4 Gbit"
    supported_classes   = "Class 3"
    supported_fc4s      = "0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x01 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 0x00 "
    supported_speeds    = "1 Gbit, 2 Gbit, 4 Gbit"
    symbolic_name       = "Emulex A8003A FV2.82X4 DV11.2.0.6 HN:vds1 OS:Linux"
    tgtid_bind_type     = "wwpn (World Wide Port Name)"
    uevent              = 
    vport_create        = <store method only>
    vport_delete        = <store method only>

    Device = "host4"
    Device path = "/sys/devices/pci0000:00/0000:00:07.0/0000:04:00.1/host4"
      uevent              = "DEVTYPE=scsi_host"
не понимаю, что дальше делать... как ЭТО дальше разбить на разделы и прочее? lsscsi не видит это устройство 
[root@server1 ~]# dmesg |grep Emulex
[    1.303224] Emulex LightPulse Fibre Channel SCSI driver 11.2.0.6
[    1.303226] Copyright(c) 2004-2016 Emulex.  All rights reserved.
[    1.817733] scsi host3: Emulex LPe11000 PCIe Fibre Channel Adapter on PCI bus 04 device 00 irq 34
[    3.552600] scsi host4: Emulex LPe11000 PCIe Fibre Channel Adapter on PCI bus 04 device 01 irq 36

← wifi-точка со свободной прошивкой
CUPS как клиент для IPP →

на схд средствами администрирования нужно разрешить маки карт fibre channel для взаимодействия в полкой и доступа к томам, пока у Вас похоже всего лишь линк активен. после успешной настройки lsblk Вам покажет внешние тома

anonymous
()

обычно софт для настройки берется с сайта производителя СХД, я своими рулил через ethernet, детектятся автоматически. Маки тоже видно средствами железки, просто добавляешь в правила доступа в гуе. Объединение дисков, типы разделов - все это в софте.

anonymous
()
Ответ на: комментарий от anonymous

не нашел такой функции. есть Maps, где указывается, с каких интерфейсов можно коннектится... все меню уже облазил, не нашел где маки указать у меня сам массив еще в статусе Current Job Initialize (92%) из за этого может быть такое? Но при этом Health: OK

Anfernee
() автор топика
Ответ на: комментарий от anonymous

это не в Hosts случаем в GUI железки? добавил туда, ничего не изменилось вроде бы 

/sys/class/scsi_host/host4:
     vendor:            Emulex
     model:             A8003A
     state:             Online
     vid:               0x10df
     did:               0xfe00
     ssvid:             0x10df
     ssdid:             0xfe00
     wwnn:              0x20000000c97aadc5
     wwpn:              0x10000000c97aadc5
     driver version:    Emulex LightPulse Fibre Channel SCSI driver 11.2.0.6
     firmware version:  2.82X4 (Z3F2.82X4), sli-3
     Optrom version:    5.03a13
я же правильно понимаю, это wwpn (или wwnn? я и то и то добавил) без «0x» в начале?

Anfernee
() автор топика

при включении сервера на этапе загрузки Emulex он поднимает соединение, пишет что все ок. далее грузится сама система - лампочки уже моргают, как будто соединения нет. хотя вроде как статус онлайн:

Вообщет «лампочки моргают» это значит идёт какой-либо трафик. Скорее всего - сканирование шины

не понимаю, что дальше делать... как ЭТО дальше разбить на разделы и прочее?

Найди того, кто в этом разбирается

Если msa нужно настроить тебе, то делается это не через HBA, а через веб-морду или ( сложнее ) ssh/telnet

Создаёшь raid, на нём нарезаешь lun'ы, потом lun'ы презентуешь хосту ( WWN'ам )

Если кроме самого MSA у тебя полноценная СХД ( сеть ) со свичами, ещё нужно настроить зонинг

router ★★★★★
()
Ответ на: комментарий от router

Вообщет «лампочки моргают» это значит идёт какой-либо трафик. Скорее всего - сканирование шины

они без кабеля, например, просто все равномерно моргают раз в секунду. когда сервер грузится и все подключено нормально, то на этаже загрузки платы FC на СХД загорается постоянно лампочка 4Gb и на сервере зеленая горит, а желтая равномерно мигает. далее, грузится ОК, и на СХД лампочка 4Gb перестает гореть и начинает моргать 2Gb (в общем, так же, как и соседнего порта FC - как будто связи нет). но при этом в системе по этому порту пишет Online, а в морде СХД по этому порту пишет оффлайн

Если msa нужно настроить тебе, то делается это не через HBA, а через веб-морду или ( сложнее ) ssh/telnet

Создаёшь raid, на нём нарезаешь lun'ы, потом lun'ы презентуешь хосту ( WWN'ам )

это я по идее сделал - разбил, создал

Если кроме самого MSA у тебя полноценная СХД ( сеть ) со свичами, ещё нужно настроить зонинг

не, мне надо самый примитив точка-точка, эту СХД будет использовать только 1 сервер

Найди того, кто в этом разбирается

готов заплатить, если тут такой есть:) по знакомым поспрашивал, никто не сталкивался

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

а в морде СХД по этому порту пишет оффлайн

Проверь настройку порта. Он может оказаться в loop вместо p2p

На стороне centos тебе ничего трогать не нужно. Если ты корректно выдал диски, после рескана они должны быть видны

В FC 2/4 Gbit и 8/16 Gbit не совместимы. ЕМНИП, разное кодирование сигнала

Может быть битый кабель или полудохлый SFP

это я по идее сделал - разбил, создал

Мало. Презентовал?

router ★★★★★
()
Последнее исправление: router (всего исправлений: 2)
Ответ на: комментарий от router

В Hosts нужно добавлять wwpn

lun'ы должны быть презентованы ( Provisioning -> Explicit Mapping ). LUN для начала выбери в диапазоне 0..255

Кстати, при маппинге нужно ещё и порты msa указать

После этого выполняешь рескан на хосте. Если ошибки нет, диски будут видны

Если ничего не получается, приводи скрины с маппингами lun'а, wwn'ами хоста, и настройками портов

router ★★★★★
()
Последнее исправление: router (всего исправлений: 1)
Ответ на: комментарий от router

В FC 2/4 Gbit и 8/16 Gbit не совместимы. ЕМНИП, разное кодирование сигнала

Забыл уже. Это 1 и 8 несовместимы. Плюс в 10 и выше другое кодирование

router ★★★★★
()
Ответ на: комментарий от router

Спасибо, буду пробовать. Если на самом схд все нормально настроить то в системе я должен сразу увидеть диски в lsscsi? Или какие то действия ещё нужны?

Anfernee
() автор топика
Ответ на: комментарий от router

я вот вроде бы настроил https://yadi.sk/i/m7cPJq9F3QSXGi как я понял. есть vdisk, по нему Explicit нужного Host ID 10000000C97AADC5 у адаптера wwpn: 0x10000000c97aadc5 - по идее, оно. как теперь rescan сделать, не нашел ничего такого...

Anfernee
() автор топика
Ответ на: комментарий от router

echo 1 > /sys/class/fc_host/host4/issue_lip делает rescan? по логам: 

[ 2025.353520] lpfc 0000:04:00.1: 1:1305 Link Down Event x4 received Data: x4 x20 x80011 x0 x0
[ 2025.788574] lpfc 0000:04:00.1: 1:1303 Link Up Event x5 received Data: x5 x0 x10 x0 x0 x0 0
больше никаких изменений нет....

Anfernee
() автор топика
Ответ на: комментарий от router

после 

echo 1 > /sys/class/fc_host/host4/issue_lip
в логах 
[  899.802063] lpfc 0000:04:00.1: 1:1305 Link Down Event x6 received Data: x6 x20 x80011 x0 x0
[  900.237149] lpfc 0000:04:00.1: 1:1303 Link Up Event x7 received Data: x7 x0 x10 x0 x0 x0 0
после 
echo "- - -" > /sys/class/scsi_host/host4/scan
вообще ничего...

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

Значит, после рескана диски не появились

router ★★★★★
()
Ответ на: комментарий от Anfernee

но на подключенном порту пишет, что он

Битый кабель, дохлый медиаконвертер

Пока порт не будет в up'е, надеятся на что-то нет смысла

router ★★★★★
()
Ответ на: комментарий от router

а он в up-е должен быть даже без коннекта с хостом? просто сам по себе даже без провода? я думал он при соединении должен стать UP. но ведь на стороне сервер соединение устанавливается? провод если вытащить, пишет в логи, что соединение Down, вставляю - пишет, что соединение Up

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

а он в up-е должен быть даже без коннекта с хостом?

Да, без коннекта. Нет, только с проводом ( а также SFP и включенной карте на обоих сторонах ). У тебя ethernet link бывает в up'е без ssh коннекта к серверу?

Вот и тут тоже. Линк это просто линк. На той стороне кто-то есть, и с ним мы договорились о скорости обмена. Обращение к lun'у или запись на ленту для этого не требуется

router ★★★★★
()
Последнее исправление: router (всего исправлений: 1)
Ответ на: комментарий от router

Тебе не нужно что-то делать на стороне хоста. Именно centos не щупал, но он должен быть полным клоном rhel, а в rhel с fc hba никаких проблем. Не нужно вручную что-то настраивать. hba есть, подключил проводом к свичу ( ну или массиву ), линк должен подняться автоматом

Раз ось говорит, что линк есть, а массив говорит, что нет, проверь кабель и медиаконвертеры ( sfp )

Иногда sfp модули несовместимы с железом ( честно, без понятия как проверить, на прошлой работе закупкой занимались другие люди, а на текущей я вообще схд уже не рулю )

Если есть возможность, меняй всё что вызывает сомнения и проверяй

Самый простой и тупой тест - в оптоволокне должен быть свет. Вроде бы для глаза эта длина волны и интенсивность не опасна. Тупо отключаешь с одной стороны и убеждаешься, что виден свет. Потом с другой. В одном кабеле две жилы - одна на приём, другая на передачу. Т.е. то, что горит ровно одна - это норм

router ★★★★★
()
Ответ на: комментарий от router

поменял sfp - ничего не изменилось. поменял карту на qlogic - сразу соединение поднялось, линк есть, в системе тоже устройство появилось. почему то нет точки монтирования - 

# lsscsi
[0:0:32:0]   enclosu DP       BACKPLANE        1.07  -        
[0:2:0:0]    disk    DELL     PERC 6/i         1.22  /dev/sda 
[1:0:0:0]    cd/dvd  TEAC     DVD-ROM DV28SV   D.0L  /dev/sr0 
[3:0:0:0]    enclosu HP       MSA2312fc        M114  -
что с этим дальше делать? в примере, что я смотрел, там поднялось сразу /dev/sdb и прочее

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

все в общем заработало:) нужно было в биосе карты указать vdisk. дело получается в карточке было - на emulex нифига не поднялось

Anfernee
() автор топика
Ответ на: комментарий от Anfernee

нужно было в биосе карты указать vdisk. дело получается в карточке было - на emulex нифига не поднялось

бред какой-то. диск в bios'е карты нужен ровно для двух случаев - чтобы можно было загрузиться с этого диска, и если ОСь настолько старая, что не умеет работать с картой. bios qlogic'а представляет удалённый lun самостоятельно, без поддержки со стороны ОСи

Либо твой centos 4.x и древнее, либо в нём почему-то нет драйвера qla2xxx

router ★★★★★
()
Последнее исправление: router (всего исправлений: 1)
Ответ на: комментарий от Anfernee

[3:0:0:0] enclosu HP MSA2312fc M114 -

Это не диск, а сам msa

router ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← wifi-точка со свободной прошивкой
Linux-hardware
CUPS как клиент для IPP →