LINUX.ORG.RU
решено Форум — Admin  

Помогите востановить распознавание рейда1 в mdadm

 


0

1

Не уверен в причинно следственной связи, но так или иначе, имело место обновление Fedora 19->20.

После перезагрузки рейд1 на одном из дисков стал неправильно определяться.

Изначально было как: sda1 и sdb1 объединялись в рейд1 md128, sda2 + sdb2 = md129.

Теперь какой то лишний md123 непонятно откуда взявшийся и непонятный md124. md128 нерабочий.

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1] 
md122 : active raid1 sdd6[3] sdc6[2]
      426247168 blocks super 1.2 [2/2] [UU]
      bitmap: 1/2 pages [4KB], 131072KB chunk

md128 : inactive md123p1[1](S)
      52396032 blocks super 1.2
       
md123 : active raid1 sdb[1] sda[0]
      234428416 blocks super external:/md124/0 [2/2] [UU]
      
md124 : inactive sda[1](S) sdb[0](S)
      5032 blocks super external:imsm
       
md125 : active raid1 sdd5[0] sdc5[2]
      524224 blocks super 1.0 [2/2] [UU]
      
md126 : active raid1 sdd3[0] sdc3[2]
      10239872 blocks super 1.2 [2/2] [UU]
      
md127 : active raid1 sdd2[0] sdc2[1]
      51199872 blocks super 1.2 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

unused devices: <none>
[root@localhost ~]# mdadm -E -s
ARRAY metadata=imsm UUID=b93f4bc0:5b6a6dff:d9cb3ab4:8311fd35
ARRAY /dev/md/Data container=b93f4bc0:5b6a6dff:d9cb3ab4:8311fd35 member=0 UUID=2accf1fb:65caefb2:90b4bc82:c753ac41
ARRAY /dev/md/root  metadata=1.2 UUID=747bbacc:577fe761:1eca31f7:f9ab51a8 name=localhost:root
ARRAY /dev/md/swap  metadata=1.2 UUID=2903114b:b76e4065:498fd790:1b406f22 name=localhost:swap
ARRAY /dev/md/boot  metadata=1.0 UUID=aea136ed:8215bd59:622b3368:8e035eb1 name=localhost:boot
ARRAY /dev/md/home  metadata=1.2 UUID=62cf7436:f56196c9:0b9d40d2:6fc2a73f name=localhost:home
ARRAY /dev/md/128  metadata=1.2 UUID=af9c5d3f:54410fee:2b201770:85341184 name=localhost.localdomain:128
ARRAY /dev/md/129  metadata=1.2 UUID=5fe6171f:a84073a0:3ce79a08:89a98d12 name=localhost.localdomain:129
[root@localhost ~]# fdisk -l

Disk /dev/sda: 223,6 GiB, 240057409536 bytes, 468862128 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x1693d80f

Устр-во   Загрузочный     Start Конец    Blocks  Id System
/dev/sda1                  2048 104859647  52428800  fd Linux raid autodetect
/dev/sda2             104859648 468860927 182000640  fd Linux raid autodetect


Disk /dev/sdb: 223,6 GiB, 240057409536 bytes, 468862128 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x1693d80f

Устр-во   Загрузочный     Start Конец    Blocks  Id System
/dev/sdb1                  2048 104859647  52428800  fd Linux raid autodetect
/dev/sdb2             104859648 468860927 182000640  fd Linux raid autodetect


Disk /dev/sdc: 465,8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x06b900e1

Устр-во   Загрузочный     Start Конец    Blocks  Id System
/dev/sdc2                  2048 102467583  51232768  fd Linux raid autodetect
/dev/sdc3             102467584 122963967  10248192  fd Linux raid autodetect
/dev/sdc4             122963968 976773119 426904576   5 Extended
/dev/sdc5             122966016 124014591    524288  fd Linux raid autodetect
/dev/sdc6             124016640 976773119 426378240  fd Linux raid autodetect


Disk /dev/sdd: 465,8 GiB, 500107862016 bytes, 976773168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x06b900e1

Устр-во   Загрузочный     Start Конец    Blocks  Id System
/dev/sdd2                  2048 102467583  51232768  fd Linux raid autodetect
/dev/sdd3             102467584 122963967  10248192  fd Linux raid autodetect
/dev/sdd4             122963968 976773119 426904576   5 Extended
/dev/sdd5             122966016 124014591    524288  fd Linux raid autodetect
/dev/sdd6             124016640 976773119 426378240  fd Linux raid autodetect


Disk /dev/md127: 48,8 GiB, 52428668928 bytes, 102399744 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/md126: 9,8 GiB, 10485628928 bytes, 20479744 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/md125: 512 MiB, 536805376 bytes, 1048448 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/md123: 223,6 GiB, 240054697984 bytes, 468856832 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x1693d80f

Устр-во      Загрузочный     Start Конец    Blocks  Id System
/dev/md123p1                  2048 104859647  52428800  fd Linux raid autodetect
/dev/md123p2             104859648 468860927 182000640  fd Linux raid autodetect


Disk /dev/md122: 406,5 GiB, 436477100032 bytes, 852494336 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

Пробовал:

[root@localhost ~]# mdadm -S /dev/md128
mdadm: stopped /dev/md128
[root@localhost ~]# mdadm -S /dev/md123
mdadm: stopped /dev/md123
[root@localhost ~]# mdadm -S /dev/md124
mdadm: stopped /dev/md124

(Кстати нужно именно в таком порядке), а потом (пока только с одним диском):

# mdadm --assemble /dev/md128 /dev/sda1
mdadm: cannot open device /dev/sda1: No such file or directory
mdadm: /dev/sda1 has no superblock - assembly aborted

Вот такой результат получается.

← Настройка отправки почты с Joomla на сервере ubuntu
xf86-video-ati 60fps →

Еще допинфа: 

[root@localhost ~]# mdadm -E /dev/sda
/dev/sda:
          Magic : Intel Raid ISM Cfg Sig.
        Version : 1.1.00
    Orig Family : 13a2089d
         Family : 14f094b3
     Generation : 002ee544
     Attributes : All supported
           UUID : b93f4bc0:5b6a6dff:d9cb3ab4:8311fd35
       Checksum : 3d72edd8 correct
    MPB Sectors : 1
          Disks : 2
   RAID Devices : 1

  Disk01 Serial : CV202404LT240CGN
          State : active
             Id : 00040000
    Usable Size : 468857096 (223.57 GiB 240.05 GB)

[Data]:
           UUID : 2accf1fb:65caefb2:90b4bc82:c753ac41
     RAID Level : 1
        Members : 2
          Slots : [UU]
    Failed disk : none
      This Slot : 1
     Array Size : 468856832 (223.57 GiB 240.05 GB)
   Per Dev Size : 468857096 (223.57 GiB 240.05 GB)
  Sector Offset : 0
    Num Stripes : 1831472
     Chunk Size : 64 KiB
       Reserved : 0
  Migrate State : idle
      Map State : normal
    Dirty State : clean

  Disk00 Serial : CV2032033D240CGN
          State : active
             Id : 00030000
    Usable Size : 468857096 (223.57 GiB 240.05 GB)
[root@localhost ~]# mdadm -E /dev/sdb
/dev/sdb:
          Magic : Intel Raid ISM Cfg Sig.
        Version : 1.1.00
    Orig Family : 13a2089d
         Family : 14f094b3
     Generation : 002ee544
     Attributes : All supported
           UUID : b93f4bc0:5b6a6dff:d9cb3ab4:8311fd35
       Checksum : 3d72edd8 correct
    MPB Sectors : 1
          Disks : 2
   RAID Devices : 1

  Disk00 Serial : CV2032033D240CGN
          State : active
             Id : 00030000
    Usable Size : 468857096 (223.57 GiB 240.05 GB)

[Data]:
           UUID : 2accf1fb:65caefb2:90b4bc82:c753ac41
     RAID Level : 1
        Members : 2
          Slots : [UU]
    Failed disk : none
      This Slot : 0
     Array Size : 468856832 (223.57 GiB 240.05 GB)
   Per Dev Size : 468857096 (223.57 GiB 240.05 GB)
  Sector Offset : 0
    Num Stripes : 1831472
     Chunk Size : 64 KiB
       Reserved : 0
  Migrate State : idle
      Map State : normal
    Dirty State : clean

  Disk01 Serial : CV202404LT240CGN
          State : active
             Id : 00040000
    Usable Size : 468857096 (223.57 GiB 240.05 GB)

rafaelrs
() автор топика

mdadm: cannot open device /dev/sda1: No such file or directory

Возможно, у дисков изменились имена. Видел такое на центоси.

пока только с одним диском

Почему?

Deleted
()
Ответ на: комментарий от Deleted

Почему?

Подстраховываюсь, вдруг чего нибудь не так сделаю, запортится только один диск. А второй добавить всегда можно.

rafaelrs
() автор топика
Ответ на: комментарий от Deleted

Возможно, у дисков изменились имена. Видел такое на центоси.

В выводе fdisk'a то показывает этот sda1, sda2. Непонятно почему он в /dev не виден. Может просто специально рейдовские скрываются.

rafaelrs
() автор топика
Ответ на: комментарий от rafaelrs

Подстраховываюсь, вдруг чего нибудь не так сделаю, запортится только один диск. А второй добавить всегда можно.
mdadm --assemble /dev/md128 /dev/sda1

Если нужно сразу создать массив, где диска не хватает (degraded) необходимо указать слово missing вместо имени отсутствующего устройства.
Еще надо не забывать размонтировать разделы, с которыми будут производиться какие-то операции.

Deleted
()
Ответ на: комментарий от darkenshvein

mdadm --scan --auto

уже делал, будет то же самое (если после удаления командой mdadm -S) либо просто все останется без изменений (если после перезагрузки с рейдами ничего не делал).

Опережая вопрос: - пробовал отключать автоопределение в mdadm.conf: 

# mdadm.conf written out by anaconda
MAILADDR root                                                                                                                                                                                                                                                               
#AUTO +imsm +1.x -all                                                                                                                                                                                                                                                       
ARRAY /dev/md/boot level=raid1 num-devices=2 UUID=aea136ed:8215bd59:622b3368:8e035eb1                                                                                                                                                                                       
ARRAY /dev/md/home level=raid1 num-devices=2 UUID=62cf7436:f56196c9:0b9d40d2:6fc2a73f                                                                                                                                                                                       
ARRAY /dev/md/root level=raid1 num-devices=2 UUID=747bbacc:577fe761:1eca31f7:f9ab51a8                                                                                                                                                                                       
ARRAY /dev/md/swap level=raid1 num-devices=2 UUID=2903114b:b76e4065:498fd790:1b406f22

Так же пробовал добавлять эти две строки: 

#ARRAY /dev/md/128  metadata=1.2 UUID=af9c5d3f:54410fee:2b201770:85341184 name=localhost.localdomain:128
#ARRAY /dev/md/129  metadata=1.2 UUID=5fe6171f:a84073a0:3ce79a08:89a98d12 name=localhost.localdomain:129

rafaelrs
() автор топика
Ответ на: комментарий от Deleted

Еще надо не забывать размонтировать разделы, с которыми будут производиться какие-то операции.

Учитывая, что я их примонтировать никак не могу, то да, все размонтированно :)

Если нужно сразу создать массив, где диска не хватает (degraded) необходимо указать слово missing вместо имени отсутствующего устройства.

# mdadm --assemble /dev/md128 /dev/sda1 missing
mdadm: cannot open device /dev/sda1: No such file or directory
mdadm: /dev/sda1 has no superblock - assembly aborted
rafaelrs
() автор топика

Есть небольшой апдейт.

Значит напрягло меня то, что в dev нет sda1, sda2. т.е. 

# ls -l /dev/sd*
brw-rw----. 1 root disk 8,  0 фев  9 05:25 /dev/sda
brw-rw----. 1 root disk 8, 16 фев  9 05:25 /dev/sdb
brw-rw----. 1 root disk 8, 32 фев  9 05:25 /dev/sdc
brw-rw----. 1 root disk 8, 34 фев  8 20:03 /dev/sdc2
brw-rw----. 1 root disk 8, 35 фев  8 20:03 /dev/sdc3
brw-rw----. 1 root disk 8, 36 фев  8 20:03 /dev/sdc4
brw-rw----. 1 root disk 8, 37 фев  8 20:03 /dev/sdc5
brw-rw----. 1 root disk 8, 38 фев  8 20:03 /dev/sdc6
brw-rw----. 1 root disk 8, 48 фев  9 05:25 /dev/sdd
brw-rw----. 1 root disk 8, 50 фев  8 20:04 /dev/sdd2
brw-rw----. 1 root disk 8, 51 фев  8 20:04 /dev/sdd3
brw-rw----. 1 root disk 8, 52 фев  8 20:04 /dev/sdd4
brw-rw----. 1 root disk 8, 53 фев  8 20:04 /dev/sdd5
brw-rw----. 1 root disk 8, 54 фев  8 20:04 /dev/sdd6

А также были странные ругательства в журнале на эти sda1, sda2, sdb1, sdb2.

Решил попробовать после стопа чудных рейдов пересканировать таблицу разделов: 

# partx -a /dev/sda

И вуаля, разделы появились в dev. Теперь можно глянуть по ним инфу: 

# mdadm -E /dev/sda1
/dev/sda1:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : af9c5d3f:54410fee:2b201770:85341184
           Name : localhost.localdomain:128  (local to host localhost.localdomain)
  Creation Time : Mon Aug 19 07:20:30 2013
     Raid Level : raid1
   Raid Devices : 2

 Avail Dev Size : 104792064 (49.97 GiB 53.65 GB)
     Array Size : 52395904 (49.97 GiB 53.65 GB)
  Used Dev Size : 104791808 (49.97 GiB 53.65 GB)
    Data Offset : 65536 sectors
   Super Offset : 8 sectors
   Unused Space : before=65456 sectors, after=256 sectors
          State : clean
    Device UUID : 0255882f:8545dfe3:4514f086:20958a36

    Update Time : Sun Feb  8 08:45:07 2015
       Checksum : 930a61df - correct
         Events : 1611


   Device Role : Active device 0
   Array State : AA ('A' == active, '.' == missing, 'R' == replacing)

Попытался собрать массив из него, пока о пять не получилось: 

# mdadm --assemble /dev/md128 /dev/sda1
mdadm: /dev/sda1 is busy - skipping

Еще вот какая идея возникла. Дело в том, что есть разница, как показывает mdadm -E для того диска который работает (пара sdc+sdd) и который не работает (пара sda+sdb). Так вот, для sdc не показывает длинного дампа о состоянии участия его в рейде, но показывает для отдельных разделов: 

# mdadm -E /dev/sdc
/dev/sdc:
   MBR Magic : aa55
Partition[1] :    102465536 sectors at         2048 (type fd)
Partition[2] :     20496384 sectors at    102467584 (type fd)
Partition[3] :    853809152 sectors at    122963968 (type 05)

# mdadm -E /dev/sdc2
/dev/sdc2:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 747bbacc:577fe761:1eca31f7:f9ab51a8
           Name : localhost:root
  Creation Time : Sat Aug 17 12:10:51 2013
     Raid Level : raid1
   Raid Devices : 2

 Avail Dev Size : 102400000 (48.83 GiB 52.43 GB)
     Array Size : 51199872 (48.83 GiB 52.43 GB)
  Used Dev Size : 102399744 (48.83 GiB 52.43 GB)
    Data Offset : 65536 sectors
   Super Offset : 8 sectors
   Unused Space : before=65456 sectors, after=256 sectors
          State : clean
    Device UUID : 79a27b3f:7a54f310:74c956e4:aa55b6c0

Internal Bitmap : 8 sectors from superblock
    Update Time : Mon Feb  9 05:32:10 2015
       Checksum : 63f1b7e7 - correct
         Events : 4010


   Device Role : Active device 1
   Array State : AA ('A' == active, '.' == missing, 'R' == replacing)

Что натолкнуло меня на мысль, что mdadm -E для sda должен выглядеть так же, как для sdc. А почему это не так, у меня предположение, что из-за того, что раньше эти винты были в фейк рейде под виндой, суперблоки для диска в целом остались и после обновления федоры ядро начало это дело обрабатывать, что и вызвало данный глюк.

Напрашивается решение - затереть этот суперблок рейда. Осталось только собраться духом, надеятся что ничего не испорчу и попробовать....

rafaelrs
() автор топика
Ответ на: комментарий от rafaelrs

Все пацаны, расходимся, решил

Как я и предполагал, дело было в суперблоках. Для будущих поколений - решилась проблема следующим: 

mdadm --zero-superblock /dev/sda --force
mdadm --zero-superblock /dev/sdb
На sda форс, потому что по хорошему не хотел (mdadm: Couldn't open /dev/sda for write - not zeroing)

Теперь у меня все как по прежнему: 

# cat /proc/mdstat
Personalities : [raid1] 
md124 : active raid1 sdd6[3] sdc6[2]
      426247168 blocks super 1.2 [2/2] [UU]
      bitmap: 1/2 pages [4KB], 131072KB chunk

md129 : active raid1 sda2[0] sdb2[1]
      181869440 blocks super 1.2 [2/2] [UU]
      
md128 : active raid1 sdb1[1] sda1[0]
      52395904 blocks super 1.2 [2/2] [UU]
      
md125 : active raid1 sdd3[0] sdc3[2]
      10239872 blocks super 1.2 [2/2] [UU]
      
md126 : active raid1 sdd5[0] sdc5[2]
      524224 blocks super 1.0 [2/2] [UU]
      
md127 : active raid1 sdd2[0] sdc2[1]
      51199872 blocks super 1.2 [2/2] [UU]
      bitmap: 1/1 pages [4KB], 65536KB chunk

unused devices: <none>

rafaelrs
() автор топика

Как то темы про восстановление mdadm косяками пошли... Как минимум, вторая тема за неделю.

anonymous
()
Ответ на: комментарий от anonymous

Как то темы про восстановление mdadm косяками пошли...

Так это же стандартная ситуация mdadm, пока все диски в порядке - всё хорошо, как только случается поломка диска или ещё какая мелочь - усё, начинаются аццкие свистопляски. А ещё на Изю наезжали в прошлом треде.

anonymous
()
Ответ на: комментарий от anonymous

2'я тема за неделю это конечно офигенная выборка. Если ты обратишь внимание на список массивов, там видно что все проблемы связаны с непонятнооткуда выскочившим софтрейдом intel ( metadata imsm ). Либо кроме обновления ещё были попытки использования софтрейда, либо эта гадость раньше была на дисках, и при создании рейдов метаданные imsm не полностью вычистили

router ★★★★★
()
Ответ на: комментарий от router

Так я этот Intel фейк рейд и заметил. Просто раньше то он нормально работал. Видимо предыдущее ядро просто не обращало на суперблоки от Intel внимания, а вот новое решило обработать. Что и вызвало такой конфуз.

Главное что теперь все ок, после очистки суперблоков все работает ок.

rafaelrs
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Настройка отправки почты с Joomla на сервере ubuntu
Admin
xf86-video-ati 60fps →