MegaRAID, вернуть диск в массив

RAID6 из шести дисков, не доступно сейчас 3 диска диски в слотах 3 и 4 были ubad, сделал их good

Не стоит пытаться вернуть в массив сразу все вылетевшие диски. Безопаснее вернуть только один, тот, который вылетел последним. Что в логах контроллера? Как и когда произошел развал массива?

hotswap корзин нет, операции по замене дисков происходили при выключенном сервере. лог посмотрю завтра, т.к. сервер выключен

сначала вылетел диск из слот 5 - fail при замене проблемного диска после включения компьютера - fail стал диск из слота 4 и UGood в слоте 3 т.е. такая картина:

2 - onln
3 - good
4 - fail
5 - fail
6 - onln
7 - onln

2 - onln
3 - onln
4 - ubad
5 - ubad
6 - onln
7 - onln

после ребута случилось вот так:

2 - ubad 0
3 - ubad -
4 - ubad F
5 - ubad F
6 - onln 0
7 - onln 0

а дальнейшие действия описал в посте

ещё кстате было большое количество перезагрузок, диски по не понятным причинам пропадали из видимости контроллера при загрузке сервера, приходилось выключать, проверять коннекты дисков к контролеру, сервер грузился то 5-ю, 4-я дисками, один раз только с двумя загрузился

Лог от 11 июля, когда раид работал ещё на 4-х дисках http://d.zaix.ru/de3k.txt

RAID6 не доступно 3 диска

Замечательно. Бэкапы надеюсь есть?

ещё кстате было большое количество перезагрузок, диски по не понятным причинам пропадали из видимости контроллера при загрузке сервера, приходилось выключать, проверять коннекты дисков к контролеру, сервер грузился то 5-ю, 4-я дисками, один раз только с двумя загрузился

А сами по себе диски живы? Пробовал подключать к другому контроллеру?

ИМХО, тут надо делать копии всех дисков по отдельности, на всякий случай. После копирования попытаться понять: это диски сыплются или сам контроллер.

Аппаратный RAID - это надёжно, говорили они…

Бэкапы надеюсь есть?

Подозреваю, что вопрос риторический - если бы были бэкапы, автор темы уже пересобрал бы свой массив с нуля на новых дисках и восстановился бы, а не создавал бы это обсуждение...

Вот эти 4 диска и стоит пытаться ввести в массив. И обратите внимание на дельный совет mironov_ivan - перед началом экспериментов снимите с помощью dd образы со всех дисков.

Только с gnu ddrescue, а то мало ли.

Пофигизм поражает. При перезагрузке пропала пара дисков - пофиг, будем перезагружаться до тех пор, пока не появятся все диски. Вылетел диск - пофиг, пометим его снова как good.

И даже сейчас вопрос всего лишь стоит о том, как вернуть диск в массив.

То, как оно «работает» сейчас - это ппц просто. Этим пользоваться нельзя. Нужно либо разбирать всю эту систему нахрен или выяснять причины. Явно ведь что-то не так. Диски есть в списке совместимости контроллера? Кейс у вендора открыли? Прошивку обновляли?

Подозреваю, что вопрос риторический

Отнюдь. Прочитайте все выше написанное ТС «как они прыгали». Начиная от: что там в реалии сейчас на этих дисках даже сложно представить. И заканчивая: зачем продолжать «мучать бессмысленными на угад действиями» ?
Шестой рэйд посыпался, замена одного предполагаемого сбойного диска привела к ещё большей проблеме. Все! останавливаемся. А не прыгаем на уже предполагаемо «мертвом» оборудовании.
Заменяем все что есть, раскатываем из бэкапов, а потом не спеша можно «развлекаться» на тестовом стенде.

Заменяем все что есть, раскатываем из бэкапов, а потом не спеша можно «развлекаться» на тестовом стенде.

Я именно это и имел ввиду. Раз автор темы этого до сих пор не сделал, значит, бэкапов скорее всего просто нет :).

С другой стороны, слышал примеры поднятия raid0,5,6 для «нафиг чего-то не нужного» может у ТС и так. Т.е. потеря данных не страшна. Тогда наверное можно и «поразвлекаться».

это они и есть )

Другого контроллера пока нет На этих дисках и есть бекапы. Делаю копию дисков с помощью ddrescue.

Если в единственном экземпляре. То тоже приятного мало. У меня в тех случаях когда бэкап один и наворачивается, очко начинает немного сжиматься :)

удалось собрать массив обратно в degraded на 4-х дисках в слотах 2,3,6,7

последний рабочий диск был в слоте 3 FOREIGN

в биосе контроллера сделал clear foreign conf диск слот3 стал UGOOD

после перезагрузки контроллер сам не определили диск

загрузился в ОС, сделал, как изначально планировал:

storcli64 /c0/e252/s3 insert dg=0 array=0 row=1

storcli64 /c0/e252/s3 set online

----------------------------------------------------------------------------
DG Arr Row EID:Slot DID Type  State BT      Size PDC  PI SED DS3  FSpace TR 
----------------------------------------------------------------------------
 0 -   -   -        -   RAID6 Dgrd  N  10.914 TB dflt N  N   dflt N      N  
 0 0   -   -        -   RAID6 Dgrd  N  10.914 TB dflt N  N   dflt N      N  
 0 0   0   252:2    8   DRIVE Onln  N   2.728 TB dflt N  N   dflt -      N  
 0 0   1   252:3    9   DRIVE Onln  N   2.728 TB dflt N  N   dflt -      N  
 0 0   2   -        -   DRIVE Msng  -   2.728 TB -    -  -   -    -      N  
 0 0   3   -        -   DRIVE Msng  -   2.728 TB -    -  -   -    -      N  
 0 0   4   252:6    12  DRIVE Onln  N   2.728 TB dflt N  N   dflt -      N  
 0 0   5   252:7    13  DRIVE Onln  N   2.728 TB dflt N  N   dflt -      N  
 1 -   -   -        -   RAID1 Optl  N  465.25 GB dflt N  N   dflt N      N