Однажды после аварийного выключения он распался, о чём я узнал из «Дисковой утилиты» (скрин). В ней же я попытался добавить «выпавший» диск, но вместо /dev/sda по недосмотру добавил /dev/sda1.

Ну чего все нормально, НГ корпоратив прошел как надо. :)

man mdadm до конца

mdadm /dev/md0 --fail /dev/sda1 --remove /dev/sda1
mdadm /dev/md0 --add /dev/sda

Откуда у тебя на sda вообще взялась таблица разделов, если раньше там был рейд на весь диск? Ты там диски не перепутал?

Livecd -> dd if=/dev/zero of=/dev/sda

Идиот, sda1 это тот диск, который остался в живых. sdb — spare (запасной)

Гыгы, да, кстати.

md0 : active raid1 sdb[2](S) sda1[0]
      976629568 blocks super 1.2 [2/1] [U_]

Откуда у тебя на sda вообще взялась таблица разделов, если раньше там был рейд на весь диск? Ты там диски не перепутал?

Сам не в курсе. RAID создавал с помощью установщика Ubuntu, объединив 2 физических диска, и уже на нём создавал таблицу разделов.

Причём ситуация с распавшимся рейдом уже была ~ месяц назад (UPS стоит, да, но иногда подводит). Я тогда точно также добавил обратно диск через ту же «Дисковую утилиту» — но тогда я добавил именно sda. Диск синхронизировался около суток, затем всё стало ОК. В этом раз я хотел сделать также, но случайно добавил раздел.

Я раньше не создавал RAID-массивы и могу легко напутать в терминологии, но я знаю точно, что после аварийного выключения в списке дисков массива в «Дисковой утилите» был один диск — /dev/sdb в состоянии «Резервный».

/dev/sda1 появился там только после того, как я его добавил (скрин).

Софт-рейды распадаются иногда при нештатных ребутах, это факт. Главное собери его потом нормально и всё.

Разделы сами не появляются, разберись аккуратно, что и как у тебя.

Как тебе написал анонимус, судя по /proc/mdstat, sda1 у тебя ща основной, активный, а sdb добавлен как spare, но не юзается. Возможно, потому что места на нём меньше, чем нужно.

Что у тебя за «дисковая утилита», я хз. mdadm и /proc/mdstat вполне достаточно для работы.

Просто разберись в своих дисках, проверь, что пашет ща, что не пашет и не сломай хрупкое равновесие :)

AngryElf, спасибо за подробный ответ.

На самом деле, самый главный вопрос для меня звучит так: а могу ли я остановить и перестроить RAID из работающей на нём системы без последствий?

Бекап я, конечно, перед этим сделаю, но хотелось бы понимать, какие команды/операции с RAID выполнять безопасно, а какие могу привести с остановке ОС/потере данных.

P.S. «Дисковая утилита» — она же Дисковая утилита GNOME, она же Диски — софтина в Убунте, установленная по умолчанию для работы с дисками, в т.ч. с RAID-массивами.

На самом деле, самый главный вопрос для меня звучит так: а могу ли я остановить и перестроить RAID из работающей на нём системы без последствий?

Можешь, но, главное понимать что у тебя живо и не перепутать диски.

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       0        0        1      removed
       2       8       16        -      spare   /dev/sdb

А клевый у тебя рейд. Быстрый, надежный.

Товарищ, товарищ, болять мои раны, болять мои раны у боке
Одная заживает, другая нарывает, а третья засела в глубоке.

она же Дисковая утилита GNOME, она же Диски — софтина в Убунте,

Это сервер такой ?

Откуда у тебя на sda вообще взялась таблица разделов,

Так установщик Ubuntu мог сделать при создании массива, но точно не буду утвержать, запамятовал.

2/3 серверов с бубунтой которые я вижу, обычно с гуем, потому что сначала фирмы ищут себе вин админов за копейки, и ахают, а потом уже раскошеливаются.

Это сервер такой ?

Samba-шара с VirtualBox, т.к. уже после развёртывания RAID и samba в компании появилось win-only ПО, для которого нужен был, соответственно, win-сервер. Не самое лучшее решение, но покупать для этого ещё одну машину тоже бы не стали.

Бекап я, конечно, перед этим сделаю, но хотелось бы понимать, какие команды/операции с RAID выполнять безопасно, а какие могу привести с остановке ОС/потере данных.

Разборка рейда данные не уничтожает. Вот со сборкой могут быть приколы. Типа, не соберешь старый рейд, а создашь новый и добавишь в него диск с данными - тебя переспросят («диск был в составе другого рейда, ты уверен, что его надо добавить сюда?»), но потом затрут твои данные нулями (рейд же новый). Так что внимательно, вдумчиво прочитай man mdadm.

А так, играться, добавлять-убирать диски, останавливать-запускать рейд можно без проблем.

И очень советую играться в консольке, с mdadm, а не в графической утилите. Гуевая утилита один хрен mdadm использует, но какие-то вещи может делать коряво и неявно.

А, ну да, ты б учился с рейдами работать не на боевом сервере, много нервов бы себе сэкономил :)

Создай у себя виртуалку (что б свои диски не упороть) и поиграйся там. В рейд можно добавлять не только физические диски, а любое блочное устройство, хоть файлы на дисках, хоть LVM-разделы.

Личный опыт празднования НГ на продакшн сервере? :)

У вас сейчас массив работате на одном диске /dev/sda1, поэтому его и нельзя из него убрать. Если вам хочется массив sda + sdb, то вам нужно сначала убрать sdb из массива, потом добавить его, дождаться завершения синхронизации, чтобы ″Active Devices : 2″, потом можно будет убрать из массива sda1 и добавить sda и опять синхронизация.

Но, я совсем не уверен, что у вас раньше массив был именно на sda + sdb, ведь в сервере у вас больше дисков нет. И инсталяторы избегают таких конфигураций, потому что некоторые bios обязательно хотят на диске таблицу разделов и метку Active у одного из разделов. Возможно, что на самом деле при добавлении sda ваша гуиювая утилита добавила sda1. Ведь sda1 меньше по размеру, чем sda, а RAID в суперблоке помнит свой размер и просто так меньше не станет.

В посмотрите что у вас на sdb (есть ли sdb1 и что говорит ″mdadm --examine″ относительно sdb и sdb1 (если он есть).

И, сколько я помню, при вырубании питания диски из массива не исчезали. Массив просто при включении начинал синхронизироваться. А раз у вас sdb непонятно почему в spare, то, может его выкинуло из RAID'а по аппаратным причинам, может нужно посмотреть SMART, потестировать.

Ну, и по хорошему, нужно всегда делать резервные копии разметки диска (вывод fdisk, mdadm --detail/--examine, LVM-утилит).

Samba-шара с VirtualBox, т.к. уже после развёртывания RAID и samba в компании появилось win-only ПО, для которого нужен был, соответственно, win-сервер.

facepalm какой ;( KVM поставить не? Обязательно Vbox ставить с гуями?

Обязательно Vbox ставить с гуями?

Хто сказл что vbox у него с гуями? Может ради разнообразия vbox как раз без гуев, вот raid да, raid мы будем из гуев делать. :)

RAID создавал с помощью установщика Ubuntu, объединив 2 физических диска

ручками надо было, ручками..

Прошу прощения за задержку с ответом. Ждал результатов SMART-тестов, делал бекапы (~1ТБ)... и, внезапно, из массива вывалился /dev/sdb. В итоге массив восстановил точно так, как написал mky: добавил обратно sdb, дождался синхронизации, удалил sda1, добавил sda. За что отдельное спасибо.

Проблема в том, что после перезагрузки, даже не аварийной, массив продолжает разваливаться. За 2 дня 2 раза подряд выпал sdb.

Сейчас восстановленный после падения массив выглядит вот так (последние 2 раза диск в массив вернул командой mdadm --manage /dev/md0 --add /dev/sdb):

# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Thu Apr  9 19:29:38 2015
     Raid Level : raid1
     Array Size : 976629568 (931.39 GiB 1000.07 GB)
  Used Dev Size : 976629568 (931.39 GiB 1000.07 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Dec 29 17:01:07 2015
          State : active 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : service:0
           UUID : e00bad9f:d733d92e:89edf7da:e29a5b00
         Events : 5386970

    Number   Major   Minor   RaidDevice State
       3       8        0        0      active sync   /dev/sda
       2       8       16        1      active sync   /dev/sdb

# mdadm --examine /dev/sda
/dev/sda:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : e00bad9f:d733d92e:89edf7da:e29a5b00
           Name : service:0
  Creation Time : Thu Apr  9 19:29:38 2015
     Raid Level : raid1
   Raid Devices : 2

 Avail Dev Size : 1953263024 (931.39 GiB 1000.07 GB)
     Array Size : 976629568 (931.39 GiB 1000.07 GB)
  Used Dev Size : 1953259136 (931.39 GiB 1000.07 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
          State : clean
    Device UUID : f3ca1747:c3081736:a6214325:e50e63eb

    Update Time : Tue Dec 29 20:57:52 2015
       Checksum : 264b5ade - correct
         Events : 5388122


   Device Role : Active device 0
   Array State : AA ('A' == active, '.' == missing)

# mdadm --examine /dev/sda1
mdadm: No md superblock detected on /dev/sda1.

# mdadm --examine /dev/sdb
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x2
     Array UUID : e00bad9f:d733d92e:89edf7da:e29a5b00
           Name : service:0
  Creation Time : Thu Apr  9 19:29:38 2015
     Raid Level : raid1
   Raid Devices : 2

 Avail Dev Size : 1953263024 (931.39 GiB 1000.07 GB)
     Array Size : 976629568 (931.39 GiB 1000.07 GB)
  Used Dev Size : 1953259136 (931.39 GiB 1000.07 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
Recovery Offset : 587184000 sectors
          State : active
    Device UUID : 01071fd9:ca59c23f:9588c59b:52512a67

    Update Time : Tue Dec 29 20:53:31 2015
       Checksum : d7474793 - correct
         Events : 5388066


   Device Role : Active device 1
   Array State : AA ('A' == active, '.' == missing)

# mdadm --examine /dev/sdb1
mdadm: cannot open /dev/sdb1: No such file or directory

А после того, как распался последний раз (сразу после перезагрузки через reboot) — вот так:

#  mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Thu Apr  9 19:29:38 2015
     Raid Level : raid1
     Array Size : 976629568 (931.39 GiB 1000.07 GB)
  Used Dev Size : 976629568 (931.39 GiB 1000.07 GB)
   Raid Devices : 2
  Total Devices : 1
    Persistence : Superblock is persistent

    Update Time : Tue Dec 29 20:21:34 2015
          State : clean, degraded 
 Active Devices : 1
Working Devices : 1
 Failed Devices : 0
  Spare Devices : 0

           Name : service:0
           UUID : e00bad9f:d733d92e:89edf7da:e29a5b00
         Events : 5387567

    Number   Major   Minor   RaidDevice State
       3       8        0        0      active sync   /dev/sda
       1       0        0        1      removed

SMART не идеальный, но вроде и без серьёзных проблем:

# smartctl -A /dev/sda
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.16.0-57-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   141   141   054    Pre-fail  Offline      -       74
  3 Spin_Up_Time            0x0007   129   129   024    Pre-fail  Always       -       171 (Average 184)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       39
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   115   115   020    Pre-fail  Offline      -       34
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       6276
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       39
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       268
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       268
194 Temperature_Celsius     0x0002   146   146   000    Old_age   Always       -       41 (Min/Max 23/42)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

# smartctl -A /dev/sdb
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.16.0-57-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   140   140   054    Pre-fail  Offline      -       76
  3 Spin_Up_Time            0x0007   127   127   024    Pre-fail  Always       -       171 (Average 189)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       39
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   118   118   020    Pre-fail  Offline      -       33
  9 Power_On_Hours          0x0012   100   100   000    Old_age   Always       -       5941
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       39
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       255
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       255
194 Temperature_Celsius     0x0002   133   133   000    Old_age   Always       -       45 (Min/Max 23/47)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

В общем, сейчас проблема в том, что каждая перезагрузка оканчивается тем, что в массиве остаётся только 1 диск. Да, и ещё после перезагрузки отключается SMART на обоих дисках.

Как бы найти причину такого поведения?

В догонку:

В syslog mdadm пишет про kicking non-fresh sdb1 from array!

# dmesg |grep sdb
[    1.716340] sd 3:0:0:0: [sdb] 1953525168 512-byte logical blocks: (1.00 TB/931 GiB)
[    1.717585] sd 3:0:0:0: [sdb] 4096-byte physical blocks
[    1.718093] sd 3:0:0:0: [sdb] Write Protect is off
[    1.718517] sd 3:0:0:0: [sdb] Mode Sense: 00 3a 00 00
[    1.718529] sd 3:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[    1.786550]  sdb: sdb1
[    1.787200] sd 3:0:0:0: [sdb] Attached SCSI disk
[    1.964822] md: bind<sdb1>
[   31.422846] md: kicking non-fresh sdb1 from array!
[   31.423231] md: unbind<sdb1>
[   31.434250] md: export_rdev(sdb1)
[ 1107.850915] md: bind<sdb>
[ 1107.934383]  disk 1, wo:1, o:1, dev:sdb

Быстрое гугление говорит о том, что такое бывает после аварийного выключения. mdadm считает перезагрузку через reboot аварийным выключением?

Так sdb1 или sdb? Ты разберись, что у тебя в рейде.

ты, мягко говоря, утомил уже своей путаницей между sda/sdb и sda1/sdb1. определись уже

Да, и ещё после перезагрузки отключается SMART на обоих дисках.

Ну это нормально, не знаю точно где SMART должен включатся в вашем дистрибутиве (smartd или стартовые скрипты), но кроме параметров, нужно ещё смотреть логи ошибок и выполнения SMART long self test.

Вот это вот:

mdadm: No md superblock detected on /dev/sda1.

mdadm: cannot open /dev/sdb1: No such file or directory

как то не вяжется с этим:

[ 1.786550] sdb: sdb1

[ 31.422846] md: kicking non-fresh sdb1 from array!

Если нет sdb1 (нет таблицы разделов на sdb), дак как его можно выкинуть из массива? Даже если предполжить, что у вас при презагрузке sda и sdb меняются местами (что нужно проверить перегрузившись несколько раз и каждый раз записывая серийник из вывода smartctl -a /dev/sda), то ″kicking non-fresh″ относится к дискам с md-суперблоком. Если супреблока нет, диск не должно добавлять (и выкидывать) из массива.

Похоже вас спасет только:
Два новых харда (новых! которые в рейде не были), создать на них рейд, перенести систему и перестать мучать себе голову, а заодно и нам с sdb1-sdb и т.д.
А со старыми хардами: на другом компе подключить один из хардов (только его, других быть не должно!) загрузиться с любого live дистра и выполнить dd if=/dev/zero of=/dev/sda, когда завершиться повторить со вторым хардом.

У тебя массив при ребуте и шатдауне не стопится штатно. Из-за этого суперблоки на девайсах-членах отличаются. Это и есть нон-фреш. Видимо последовательность останова неверная. Например массив пытаются остановить до того, как отсортированы все фс и деактивированы все свопы.

К тому же он у тебя пытается и sdb1, и sdb к массиву подключить. Видимо из-за того, что и на sdb1, и на sdb есть суперблок массива с одним и тем же UUID. Надо суперблок на sdb1 затереть. mdadm --zero-superblock /dev/sdb1. Только надо sdb сначала принудительно пометить как сбойный, чтобы он из массива вышел.

У массива суперблок располагается не в начале девайса-члена, а в конце. Поэтому таблица разделов из нулевого сектора девайса-массива располагается в нулевых секторах девайсов-членов. Поэтому ядро и детектит таблицу разделов на девайсе-члене. После того, как md биндит девайс-член в массив, он запрещает к члену доступ всем, кроме себя. Чтобы доступ к девайсам-активным-членам не шел в обход md.

Version : 1.2

У массива суперблок располагается не в начале девайса-члена, а в конце.

Уверен?

Решено

Всем большое спасибо, проблему с degraded raid наконец-то решил.

Версия о меняющихся местами sda и sdb не подтвердилась. Очистка суперблока на выпадающем диске тоже не помогла.

Причина была в разметке второго диска, а именно — в таблице разделов GPT

   Устр-во Загр   Нач   Конец    #цил     #блоки   Id  Система
/dev/sdb1          0+ 121601- 121602- 976762583+  ee  GPT

   Устр-во Загр   Нач   Конец    #цил     #блоки   Id  Система
/dev/sda1   *      0+ 121601- 121602- 976760832   fd  Автоопределение Linux raid

Похоже, это результат использования всё той же «Дисковой утилиты» — пока тестировал действия на виртуалке, понял, такой RAID1 (массив из двух дисков, поделённый на разделы) нельзя создать установщиком 14.04 (после образования массива установщик не позволяет создавать на нём больше 1 раздела), а значит даже рэйд я создавал не им, а этой гномовской утилитой (!), о чём я уже успел забыть. Да, виндоус-вей, самому стыдно.

Переходя к сути: проблему решил простым копированием разделов sda на sdb вот так (отсюда):

sfdisk -d /dev/sda | sfdisk /dev/sdb

   Устр-во Загр   Нач   Конец    #цил     #блоки   Id  Система
/dev/sdb1   *      0+ 121601- 121602- 976760832   fd  Автоопределение Linux raid

P.S. Выключение SMART в Ubuntu после перезагрузки оказалось обычным делом. Решается добавлением smartctl -s on /dev/sdX, например, в /etc/rc.local.