SAS - задвоились диски.

Я бы начал с убедиться, что они правда «задвоились», скажем сравнив модели и SN в выводе smartctl

Одинаковые… Серийники, wwn и тд. Вообще не врубаюсь. Сколько живу, такое впервые вижу.

хм, тогда можно попробовать посмотреть как оно подключено логически выводом lsscsi и смотреть на адреса дисков (первый номер соответствует контроллеру).

Теоретически можно через какой-то sas expander подключить диски к нескольким контроллерам, jbod полки точно можно. НО тут у меня уже знания заканчиваются и могу ошибаться

Ок! Спасибо огромное погляжу в понедельник - ещё в настройках самого LSI поковыряюсь. Может что то найду интересное.

Посмотрите ещё ″multipath -v 3″, может он эти устройства блеклистит и поэтому ничего не выводит.

Вот такой вывод:

===== paths list =====
uuid                                      hcil    dev dev_t pri dm_st chk_st vend/prod/rev            dev_st 
SAMSUNG_MZ7LH480HAHQ-00005_S45PNC0TC01439 4:0:0:0 sdd 8:48  1   undef undef  ATA,SAMSUNG MZ7LH480     unknown
SAMSUNG_MZ7LH480HAHQ-00005_S45PNC0TC01495 5:0:0:0 sde 8:64  1   undef undef  ATA,SAMSUNG MZ7LH480     unknown
35002538b74388100                         6:0:0:0 sda 8:0   1   undef undef  SAMSUNG,MZILT3T8HBLS/007 unknown
35002538b74387ef0                         6:0:1:0 sdb 8:16  1   undef undef  SAMSUNG,MZILT3T8HBLS/007 unknown
35002538b74388b70                         6:0:2:0 sdc 8:32  1   undef undef  SAMSUNG,MZILT3T8HBLS/007 unknown
35002538b74388100                         7:0:0:0 sdf 8:80  1   undef undef  SAMSUNG,MZILT3T8HBLS/007 unknown
35002538b74387ef0                         7:0:1:0 sdg 8:96  1   undef undef  SAMSUNG,MZILT3T8HBLS/007 unknown
35002538b74388b70                         7:0:2:0 sdh 8:112 1   undef undef  SAMSUNG,MZILT3T8HBLS/007 unknown

Двоятся диски…

Можешь настроить мультипас.

MZILT3T8HBLS/007 это Samsung PM1643a, dual port SAS. Бекплейн в твоём сервере видимо тоже dual port SAS, первые порты подключены к первому SAS контроллеру, вторые порты подключены ко второму SAS контроллеру.

realpath /sys/bus/scsi/devices/host6 должен показать путь к первому SAS контроллеру, realpath /sys/bus/scsi/deives/host7 должен показать путь ко второму SAS контроллеру. Из пути можнь взять PCI адреса контроллеров, и посмотреть про них lspci -s <адрес>.

Почему multipathd не создал для них mpath устройства, не понятно, надо разбираться. grep . /sys/bus/scsi/devices/*/wwid что-нибудь показывает?

Спасибо огромное!

Всё создалось после перезагрузки.

MZILT3T8HBLS/007 это Samsung PM1643a, dual port SAS. Бекплейн в твоём сервере видимо тоже dual port SAS

Да… Кажется, я начал что-то понимать. - Подскажи, пож-та, вот у меня контроллер: SAS9300-16i, внутри него два чипа по 8мь прямых подключений. - В сервере установлен бекплейн на 12 дисков SAS. - Я сервер пока не разбирал. Но не совсем могу понять на счет вот такого вопроса: сколько в таком случае должно идти кабелей на бекплейн? 3? Если да, то как он соображает какие диски на какие контроллеры раскидывать? Или достаточно даже двух проводов (по одному с каждого контроллера на 8мь дисков), если предположить что на бекплейне распаян экспандер? - Пож-та, буду весьма рад ликбезу.

Вот твой контроллер https://www.nix.ru/autocatalog/controllers_3ware/LSI-SAS-9300-16i-LSI00447-RTL-PCI-Ex8-16-port-SAS-SATA-12Gb-s_212339.html#pid=2312. На картинке видно, что у него 4 коннектора SFF-8643 (mini SAS HD). Каждый коннектор четырёхполосный (т.е. 12 Gbps x 4 = 48 Gbps). Для подключения к бэкплейнам обычно используют кабели у которых на обоих концах SFF-8643.

Бэкплейн может быть пассивный или активный. Пассивный не имеет в составе экспандеров, активный имеет. Экспандер это SAS коммутатор, позволяет подключить к контроллеру дисков больше, чем полос на контроллере.

Пассивный бэкплейн на 12 двухпортовых дисков должен иметь 24 полосы для подключения контроллеров (т.е. 6 SFF-8643 коннекторов). Активный бэкплейн на 12 двухпортовых дисков должен иметь минимум два экспандера, а каждый экспандер минимум один SFF-8643 коннектор (т.е. минимум 2 SFF-8643 коннектора).

Какой у тебя бекплейн надо смотреть в спеках сервера.

Схематично подключение к активному бэкплейну можно нарисовать вот так:

 [________expander1________][p1]----------+
  |       |       |       |               |
 [p1]    [p1]    [p1]    [p1]            [p1]
[disk1] [disk2] [disk3] [disk4]       [controller]
 [p2]    [p2]    [p2]    [p2]            [p2]
  |       |       |       |               |
 [________expander2_________][p2]---------+

Покажи вывод команд:
lsscsi
find /sys/bus/scsi -ls

Огромное спасибо.

Вот такая платформа:

https://www.supermicro.com/products/system/2U/6029/SYS-6029U-E1CR4T.cfm

Вот такой контроллер:

https://www.nix.ru/autocatalog/controllers_3ware/LSI-SAS-9300-16i-LSI00447-RTL-PCI-Ex8-16-port-SAS-SATA-12Gb-s_212339.html#pid=2312

12 SAS3 ports via expander and AOC - АОС означает, что вставлена ещё какая то плата куда то с экспандером (если да, то как она соединяется с HBA)? :) Или просто, скорее всего там экспандер на бекплейне распаян и два шнурка приходит? - Но, тогда вопрос, зачем пишут что некий АОС?

Вообще топ! Спасибо!

Помоги, пож-та, разжевать вывод? Я так понимаю, всё гуд подключено, два канала болтаются как нужно? - Я так понимаю, что имеется экспандер на бекплейне и подключен двумя шнурками. Два самсунга, это просто в мать подключены по идее для ОС.

lsscsi
[0:0:0:0]    disk    SAMSUNG  MZILT3T8HBLS/007 GXA5  /dev/sdc 
[0:0:1:0]    disk    SAMSUNG  MZILT3T8HBLS/007 GXA5  /dev/sdd 
[0:0:2:0]    disk    SAMSUNG  MZILT3T8HBLS/007 GXA5  /dev/sde 
[0:0:3:0]    enclosu LSI      SAS3x28          0601  -        
[5:0:0:0]    disk    ATA      SAMSUNG MZ7LH480 B04Q  /dev/sda 
[6:0:0:0]    disk    ATA      SAMSUNG MZ7LH480 B04Q  /dev/sdb 
[15:0:0:0]   disk    SAMSUNG  MZILT3T8HBLS/007 GXA5  /dev/sdf 
[15:0:1:0]   disk    SAMSUNG  MZILT3T8HBLS/007 GXA5  /dev/sdg 
[15:0:2:0]   disk    SAMSUNG  MZILT3T8HBLS/007 GXA5  /dev/sdh 
[15:0:3:0]   enclosu LSI      SAS3x28          0601  -

Вывод второй команды: https://pastebin.com/bCKzF6rE

На странице сервера написано в разделе Parts List - (Items Included):

Т.е. в составе бекплейна один экспандер. Значит на бекплейне разводка: один порт каждого диска соединяется с экспандером. Один порт экспандера соединяется с одним портом контроллера. Так как экспандер это коммутатор, каждому порту контроллера видны все диски, подключенные к экспандеру.

Твои диски по спекам дают до 2000 MB/s. Через один SAS 12 Gbps порт такой пропускной способности достичь нельзя (12 Gbps это примерно 1500 MB/s). Потому диски и двухпортовые. Но в этом бэкплейне они подключены только одним портом.

AOC это Add-On Card. Т.е. стораж контроллер. Он в составе сервера не идёт. В твоём случае это LSI SAS 9300-16i. Твой контроллер это два PCI устройства:

/sys/devices/pci0000:ae/0000:ae:00.0/0000:af:00.0/0000:b0:00.0/0000:b1:00.0
/sys/devices/pci0000:ae/0000:ae:00.0/0000:af:00.0/0000:b0:09.0/0000:b3:00.0

• host0 это SCSI инициатор контроллера 0000:b1:00.0
• host15 это SCSI инициатор контроллера 0000:b3:00.0
• target0:0:0, target0:0:1, target0:0:2 это SCSI таргеты дисков, которые видит инициатор host0
• target15:0:0, target15:0:1, target15:0:2 это SCSI таргеты дисков, которые видит инициатор host15
• 0:0:0:0, 0:0:1:0, 0:0:2:0 это логические юниты дисков, которые видит инициатор host0
• 15:0:0:0, 15:0:1:0, 15:0:2:0 это логические юниты дисков, которые видит инициатор host15.

До каждого логического юнита у тебя два пути. Пути должны собираться демоном multipathd в mpath устройства типа:

• mpatha – собирается из 0:0:0:0 и 15:0:0:0
• mpathb – собирается из 0:0:1:0 и 15:0:1:0
• mpathc – собирается из 0:0:2:0 и 15:0:2:0

А в чем тогда смысл multipath в такой конфигурации?

Один HBA, один экспандер, диски подключены одним портом…

Блин, вот это ответ! Круто! Крутейший просто!

Подскажи, пож-та, вот я так понимаю, по ссылке мой HBA:

https://www.supermicro.com/manuals/other/BPN-SAS3-826EL1-N4.pdf

Почему написано что from HBA идет два разъема и наверх тоже? - Словно речь идет о двух экспандерах…

Хотя, в реальности один:

3-1 Single Port Expanders SAS connectors SASP1 through SASP4 are bidirectional and can be treated as input or output. Single Ports BPN-SAS3-826EL1 backplanes have a single port expander that accesses all of the drives and supports cascading

https://www.supermicro.com/manuals/other/BPN-SAS3-826EL1-N4.pdf

Вот тоже смущает что всё же по два порта на вход и на выход.

В реальности экспандер один:

3-1 Single Port Expanders SAS connectors SASP1 through SASP4 are bidirectional and can be treated as input or output. Single Ports BPN-SAS3-826EL1 backplanes have a single port expander that accesses all of the drives and supports cascading

Вы физически на это экспандер посмотреть можете? И что куда воткнуто.

Вроде, там должно быть 4 SFF-8643 разъёма, два к HBA, два для каскадирования. Один такой SFF-8643 может работать одним 4x wide портом, а дальше на заборе написано, что два SFF-8643 могут, если повезёт, работать как 8x wide порт. Один порт. То есть, по идее, от этого экспандера в ваш 16-портовый контроллера, где тоже, вроде как, 4 SFF-8643 разъёма, должны идти два кабеля. Но там оба кабеля должны быть воткнуты в разъёмы одного pcie-контроллера. И тогда, должна быть больше скорость между контроллер-экспандер, но никакого мультипас.

По ссылке не HBA, а бэкплейн. Он 2U и видимо два таких бекплейна ставятся в 4U сервер и соединяются по цепочке. Во всяком случае, про соединение по цепочке в этом pdf написано. Но это не подключает диски двумя портами. Это просто увеличивает количество дисков (две корзины).

Бэкплейны с двумя экспандерами у супермикры тоже есть, например https://www.supermicro.com/manuals/other/BPN-SAS3-826EL.pdf

Смысл только в увеличении ширины линка от контроллера до экспандера. Пока дисков всего 3 это не имеет смысла: суммарная пропускная способность линков диск–экспандер (3x12 Gbps) меньше пропускной способности одного линка контроллер–экспандер (4x12 Gbps). Если дисков станет больше 4, то смысл во втором линке контроллер–экспандер появляется.

То, что при добавлении второго линка контроллер–экспандер появляется мультипас, это скорее неудобство, чем бонус. Его ведь ещё настроить надо, чтобы он действительно разбрасывал запросы на два линка. Иначе никакого увеличения ширины линка не будет.

Может mky правильно пишет, надо воткнуть линки контроллер-экспандер в правильные порты контроллера. Тогда контроллер и экспандер смогут согласовать объединение 8 полос SAS 12 Gbps в один логический порт.

Вот у меня тоже стойкое ощущение, что это какая-то хрень. Из-за того, что подключено неправильно.