Софтовый рэйд поверх multipath device

0

1

Добры день!

Вводная:

1) mdadm - v3.4, multipath-tools v0.6.4 2) Есть JBOD с 24-я дисками 3) Включен в сервер через SAS карту, до каждого дика по 2 пути

Что нужно:

1) Собрать RAID10 из 10 дисков + 1 hotspare

Что делаю:

1) multipath -F, multipath -r, multipath-ll
2) Появляются dm устройства.

 
root@dnode:~# multipath  -ll        
35000cca08035f8ec dm-11 LENOVO-X,HUC101812CSS20
size=1.1T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 0:0:6:0  sdh  8:112  active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 0:0:31:0 sdaf 65:240 active ready running
35000cca08033dd48 dm-3 LENOVO-X,HUC101812CSS20
size=1.1T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 0:0:2:0  sdd  8:48   active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 0:0:27:0 sdab 65:176 active ready running
35000cca08033b320 dm-12 LENOVO-X,HUC101812CSS20
size=1.1T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 0:0:7:0  sdi  8:128  active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 0:0:32:0 sdag 66:0   active ready running
35000cca08034a73c dm-10 LENOVO-X,HUC101812CSS20
size=1.1T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 0:0:5:0  sdg  8:96   active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 0:0:30:0 sdae 65:224 active ready running

2) Собираю RAID10 из 10 исков + 1 hotspare:

mdadm --create --verbose --force --assume-clean --bitmap=internal --bitmap-chunk=256M /dev/md55 --level=10  --raid-devices=10  /dev/dm-2 /dev/dm-3 /dev/dm-4 /dev/dm-5 /dev/dm-6 /dev/dm-7 /dev/dm-8 /dev/dm-9 /dev/dm-10 /dev/dm-11 --spare-devices=1 /dev/dm-12

3) RAID успешно собирается, накатывать ФС, монтирую, пользуюсь...
4) Перезагружаю сервер и вижу:

root@dnode:~# mdadm --detail /dev/md55
/dev/md55:
        Version : 1.2
  Creation Time : Tue Apr 23 10:13:19 2019
     Raid Level : raid10
     Array Size : 5859909120 (5588.44 GiB 6000.55 GB)
  Used Dev Size : 1171981824 (1117.69 GiB 1200.11 GB)
   Raid Devices : 10
  Total Devices : 11
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Tue Apr 23 11:07:27 2019
          State : clean 
 Active Devices : 10
Working Devices : 11
 Failed Devices : 0
  Spare Devices : 1

         Layout : near=2
     Chunk Size : 512K

           Name : dnode:55  (local to host dnode)
           UUID : 00c48adb:d50cd608:6bafdf86:fbc34be1
         Events : 2

    Number   Major   Minor   RaidDevice State
       0       8       16        0      active sync set-A   /dev/sdb
       1       8       32        1      active sync set-B   /dev/sdc
       2       8      176        2      active sync set-A   /dev/sdl
       3       8      192        3      active sync set-B   /dev/sdm
       4       8      208        4      active sync set-A   /dev/sdn
       5       8      224        5      active sync set-B   /dev/sdo
       6       8      240        6      active sync set-A   /dev/sdp
       7      65        0        7      active sync set-B   /dev/sdq
       8      65       16        8      active sync set-A   /dev/sdr
       9      65       32        9      active sync set-B   /dev/sds

      10      65       48        -      spare   /dev/sdt

В списке RAIDDevice имена /dev/sdb, /dev/sdс итд, т.е работает уже не через multipathd /dev/dm-1, /dev/dm-2, а на прямую..

Скажите, это такая особенность или можно все-таки собрать софтовый рэйд поверх мультипатинговых устройств ?

Ссылка

←	htop показывает что падает в swap

MP3 CentOS 7

→

multipathd стартует при загрузке?

юзай утилиту mpathconf для управления мультипасом, в том числе и стартом этого сервиса

anonymous
(23.04.19 12:54:40 MSK)

Ссылка

Явно укажи multipath диски в mdadm.conf. Сейчас ты понадеялся на автоконфигурацию

Если диск системный, то нужно будет ещё обновить initrd/initramfs

router ★★★★★
(23.04.19 12:55:28 MSK)

Ответ на: комментарий от router 23.04.19 12:55:28 MSK

multipathd стартует при загрузке?

Да, стартует.

Явно укажи multipath диски в mdadm.conf. Сейчас ты понадеялся на автоконфигурацию

Не совсем понял как :

root@dnode:~# cat /etc/mdadm/mdadm.conf 
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays

ARRAY /dev/md55 metadata=1.2 spares=1 name=dnode:55 UUID=00c48adb:d50cd608:6bafdf86:fbc34be1

Т.е создать сперва десять MD устроства через mdadm, например:

35000cca08034a73c dm-10 LENOVO-X,HUC101812CSS20
size=1.1T features='1 retain_attached_hw_handler' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 0:0:5:0  sdg  8:96   active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 0:0:30:0 sdae 65:224 active ready running

mdadm -C /dev/md0 --level=multipath --raid-devices=2 /dev/sdg /dev/sdae
А уже потом из получившихся md0-10 собрать RAID10 ?

Jozeppe_hardi
(23.04.19 13:20:19 MSK) автор топика

Ответ на: комментарий от Jozeppe_hardi 23.04.19 13:20:19 MSK

Не совсем понял как :

вариант а) фильтрация подоходящих устройств. автоконфигурирование будет работать только для них
```
DEVICE /dev/mapper/3500*
```
вариант б) явное перечисление устройств. не удобно и чревато проблемами, но при необходимости можно
```
ARRAY /dev/md4 devices=/dev/mapper/35000cca08035f8ec,/dev/mapper/35000cca08033dd48 # и т.д.
```

router ★★★★★
(23.04.19 14:16:44 MSK)