Дисковий RAID-массив выпадает в read-only

0

1

Имею в хозяйстве сервер (Supermicro), куплен для резервных копий. Железо новое, месяц как купили. В нём рейд 10, по два HDD в блоке (span), всего 12 блоков. Ну сие такое...

На борту Debian 11, свежий. ОСь стоит на отдельном SSD. Рейд-массив подсунут в каталог /dat (fstab через UUID) Из «дополнительного» софта установлены только non-free дрова, htop, rsync, autofs и mc.

Проблема: запускаю rsync на копирование, копировать много - почти 40ТБ. Копируется все с виндового сервера, который монтируется через autofs. И где то через часика два rsync падает с ошибкой, что запись невозможна. хз почему, но рейд-массив падает в read-only. После ребута всё норм.

Что за х**ня?

Ссылка

←	OpenVPN пинг с сервера до лок. сети

Одновременная работа ETH и PPP

→

что запись невозможна. хз почему

нужны логи (dmesg) и конфигурация массива (mdadm -D /dev/your_md_device) (если он у тебя софтовый, если аппаратный - смотри доки по своему контроллеру)

Pinkbyte ★★★★★
(21.11.21 21:29:25 MSK)

Ответ на: комментарий от Pinkbyte 21.11.21 21:29:25 MSK

Ну в dmesg ничего хорошего... Много вот такого

[957446.531404] EXT4-fs error: 46 callbacks suppressed
[957446.531410] EXT4-fs error (device sda1): __ext4_find_entry:1534: inode #1743257642: comm rsync: reading directory lblock 0
[957446.531450] blk_update_request: I/O error, dev sda, sector 2048 op 0x1:(WRITE) flags 0x800 phys_seg 1 prio class 0
[957446.531457] buffer_io_error: 46 callbacks suppressed
[957446.531461] Buffer I/O error on dev sda1, logical block 0, lost sync page write
[957446.531473] EXT4-fs: 46 callbacks suppressed
[957446.531477] EXT4-fs (sda1): I/O error while writing superblock

Вот такого ещё больше

[957422.756795] blk_update_request: I/O error, dev sda, sector 223082465728 op 0x0:(READ) flags 0x3000 phys_seg 1 prio class 0
[957422.756808] EXT4-fs warning (device sda1): ext4_dx_find_entry:1646: inode #1742831617: lblock 4: comm rsync: error -5 reading directory block
[957422.756871] blk_update_request: I/O error, dev sda, sector 223082465728 op 0x0:(READ) flags 0x3000 phys_seg 1 prio class 0
[957422.756881] EXT4-fs warning (device sda1): ext4_dx_find_entry:1646: inode #1742831617: lblock 4: comm rsync: error -5 reading directory block
[957422.756946] blk_update_request: I/O error, dev sda, sector 223082465728 op 0x0:(READ) flags 0x3000 phys_seg 1 prio class 0

А сие, по ходу, шляпа

[960754.249397] megaraid_sas 0000:65:00.0: megasas_disable_intr_fusion is called outbound_intr_mask:0x40000009
[960754.249420] megaraid_sas 0000:65:00.0: FW in FAULT state Fault code:0x10000 subcode:0x0 func:megasas_wait_for_outstanding_fusion
[960754.249428] megaraid_sas 0000:65:00.0: resetting fusion adapter scsi0.
[960754.249446] megaraid_sas 0000:65:00.0: Outstanding fastpath IOs: 0
[960767.413333] megaraid_sas 0000:65:00.0: Waiting for FW to come to ready state
[960788.605249] megaraid_sas 0000:65:00.0: FW now in Ready state
[960788.605256] megaraid_sas 0000:65:00.0: FW now in Ready state
[960788.605343] megaraid_sas 0000:65:00.0: Current firmware supports maximum commands: 928	 LDIO threshold: 0
[960788.605348] megaraid_sas 0000:65:00.0: Performance mode :Latency
[960788.605350] megaraid_sas 0000:65:00.0: FW supports sync cache	: Yes
[960788.605358] megaraid_sas 0000:65:00.0: megasas_disable_intr_fusion is called outbound_intr_mask:0x40000009
[960788.689259] megaraid_sas 0000:65:00.0: FW provided supportMaxExtLDs: 1	max_lds: 64
[960788.689265] megaraid_sas 0000:65:00.0: controller type	: MR(2048MB)
[960788.689269] megaraid_sas 0000:65:00.0: Online Controller Reset(OCR)	: Enabled
[960788.689271] megaraid_sas 0000:65:00.0: Secure JBOD support	: Yes
[960788.689274] megaraid_sas 0000:65:00.0: NVMe passthru support	: No
[960788.689278] megaraid_sas 0000:65:00.0: FW provided TM TaskAbort/Reset timeout	: 0 secs/0 secs
[960788.689280] megaraid_sas 0000:65:00.0: JBOD sequence map support	: Yes
[960788.689283] megaraid_sas 0000:65:00.0: PCI Lane Margining support	: No
[960788.773256] megaraid_sas 0000:65:00.0: megasas_enable_intr_fusion is called outbound_intr_mask:0x40000000
[960788.773448] megaraid_sas 0000:65:00.0: Adapter is OPERATIONAL for scsi:0
[960788.773584] megaraid_sas 0000:65:00.0: Snap dump wait time	: 15
[960788.773587] megaraid_sas 0000:65:00.0: Reset successful for scsi0.
[960788.773614] megaraid_sas 0000:65:00.0: 13543 (boot + 25949s/0x0020/CRIT) - Number of valid snapdump available is 14
[960788.817084] megaraid_sas 0000:65:00.0: 13544 (boot + 25949s/0x0020/DEAD) - Fatal firmware error: Line 974 in ../../raid/utils.c
[960788.817744] megaraid_sas 0000:65:00.0: 13547 (boot + 25951s/0x0020/CRIT) - Controller encountered an error and was reset
[960788.821655] megaraid_sas 0000:65:00.0: scanning for scsi0...
[967248.840168] print_req_error: 14 callbacks suppressed

Контроллер аппаратный - MegaRAID SAS 9364-8i

Bubublik
(21.11.21 22:26:15 MSK) автор топика
Последнее исправление: Bubublik 21.11.21 22:27:51 MSK (всего исправлений: 1)

Ответ на: комментарий от Bubublik 21.11.21 22:26:15 MSK

Controller encountered an error and was reset

Идти в биос контроллера и смотреть логи там, если они есть. Ну или megacli крутить, я точно сейчас не вспомню как там правильно логи запрашивать

Pinkbyte ★★★★★
(21.11.21 22:41:29 MSK)

Ссылка

Добрый день. Была подобная шляпа. У нас решилось прошивкой RAID. Не говорю, что Вам поможет. Но как версия.

el_vago
(22.11.21 07:24:29 MSK)

Ссылка

Ответ на: комментарий от Bubublik 21.11.21 22:26:15 MSK

тут контроллер явно намекает на баг в прошивке. Вопрос в том, пофиксили ее уже или нет. Если обновление не поможет, придется открывать тикет у вендора.

Bloody ★★
(22.11.21 09:09:07 MSK)