Развалился программный RAID 5 из 3-х дисков

Если там данные важные, не забудь образы дисков сделать для начала. Вообще, если помер один только диск, raid в рабочем состоянии должен был остаться. Точно не проморгал момент и не дождался выпадения второго ?

А не degraded ли был бы тогда raid? 5 raid на трёх дисках - это смело, имхо.

Про образы поддерживаю.

И вопрос к ТС: что за глупость это вот: «один винт под систему, другие 3 - массив»???

ну так замени этот диск на другой и делов.

SMART показывает, что диск, вылетевший из массива исправен

mdadm показывает, что выпал только один винт. Остальные два здоровы по SMART, как я писал ранее

на заборе написано ***, а с другой стороны он весь сгнил. Смарт не последняя инстанция в поиске истины.

Мог контроллер глюкануть вообщето, вопрос не в этом, а что означает dirty degraded? Из-за этого статуса не дает система пересобрать рейд массив. Это 100% означает, что диск нерабочкий? Если бы был рабочий, то такого статуса бы не было?

ээ, какой ещё контроллер?

Sata на мат плате

Скажи честно ты когда принимал решение ставить RAID-5 чем руководствовался? Потому что для дисков свыше 1 Тб рекомендуют RAID-6 или RAIDZ.

Если ты получаешь I/O Error, то уже без разницы, что там в S.M.A.R.T. написано. Собственно, либо заменяй быстро диск, либо копируй куда-нибудь данные, пока ещё один не вылетел.

ну это я знаю. Тогда причём здесь mdadm?

сам сервер состоит из 4-х дисков. Один под систему, другие 3 - это вышеуказанный массив.

Я так понимаю, что сервер жив и по сети доступен. Тогда выводы утилит хотелось бы видеть в виде текста, а не скриншотов.

Например сюда можно выложить: http://pastebin.com/

ata2.00 input/outpur error

Всё-таки ошибки I/O были, и решение поменять кабели - архиправильное ;)

SMART показывает, что все диски живы.

Хотелось бы увидеть вывод

smartctl -a $disk

mdadm -D /dev/md0

Скопируй на pastebin и добавь вывод

sudo mdadm -E $raid_member

Также хотелось бы увидеть

sudo blkid
df /

и текущее состояние /proc/mdstat

Потому что для дисков свыше 1 Тб рекомендуют RAID-6 или RAIDZ.

Рекомендует кто? Я не собираюсь спорить, мне просто интересно, т.к. ни разу не видел подобных рекомендаций ;)

raidz

это raid5.

raidz2 эквивалент raid6

Все выложил на pastebin. Посмотрите, пожалуйста: http://pastebin.com/Frnfymns

1. Забекапть все диски побайтово какой-нибудь Clonezilla
2. echo «clean» > /sys/block/md0/md/array_state
После этого, скорее всего, сможет собраться degraded raid.

Рекомендует кто

ну, например:

http://kb.promise.com/KnowledgebaseArticle10186.aspx pdf: http://kb.promise.com/Attachment376.aspx

RAID 5 and RAID 6

The recommend RAID configuration for the logical drives is RAID 6, as RAID 6 offers excellent reliability due to double spindle failure protection. In the case that logical drives are used to store backup data temporarily for later deduplication processing, the logical drives can be configured as RAID 5.

т.е. суть такова: если данные будут храниться непродолжительное время - юзайте, raid5; для ответственных применений - raid6.

запасайся валидолом с вазелином, если нет бекапов.

Только начал читать, и сразу бросилось в глаза, что это WD с огромным числом парковок. Срочно бекапь пока есть что. В ближайшее время они накроются медным тазом

Т.е. копируй поблочно на новые диски

C 2009 натыкаюсь на статьи raid 5 is dead, достаточно эту фразу в гугл вбить выдаст пачку статей. Суть сводится к тому что из-за большого объема современных дисков вероятность словить Uncorrectable Read Error во время ребилда становится высокой (zdnet насчитали ~20%).

Ну если не умеете читать смарт, то возьмите графические улиты, пускай не совсем точно, но вы хотя бы что-то поймёте.Например gnome-disk-utility, как не странно, но она даже массивы может полу дохлые показать.
А по теме, как уже писали, копируй на новые диски по блочно, и иди в церковь ставь сотню свечей.....

у 6 рейда низкая скорость записи, далеко не на всё он годится, как ты себе представляешь базы данных mssql/mysql/postgres на 6 рейде при 200-300 пользователях 1С постоянно коннектищихся ,или базу интернет магазина с 100000 посетителей в день? куда предпочтения пишутся в базу?Форум с 1000 в день регистраций и более 4000 сообщений/обновлений базы в день?

Рекомендует кто?

Например EMC.

стр. 51

We strongly recommend using RAID 6 with high-capacity SATA drives. High capacity is 1 TB or greater in capacity. In particular, when high capacity SATA drives are used in Virtual Provisioning pools, they should be configured in RAID 6.

стр. 63

When provisioning a pool with SATA drives with capacities of 1 TB or larger, we strongly recommend RAID level 6. All other drive types can use either RAID level 5 or 1/0.

Далее. Все источники данных сходятся на том, что из рейда вылетел

Device Model:     WDC WD20EARX-00PASB0
Serial Number:    WD-WMAZA5049112

сейчас это /dev/sdd

Он и faulty removed, и events у него на единицу меньше

1. Настоятельно рекомендую ПРЯМО СЕЙЧАС найти три диска на замену. Останавливаешь рейд mdadm --stop /dev/md0, и поблочно копируешь на них живые диски ( active ) рейда - сейчас это /dev/sda1, /dev/sdb1

Если на замену возьмёшь те же WD Green, на этот раз не забудь увеличить таймаут парковки до 5 минут. утилита wdidle3 от производителя - WD

2. Далее отключаешь текущие три диска рейда ( физически отключаешь кабели ), на трёх новых так же пытаешься собрать рейд и видишь те же самые 2 диска active, 1 - faulty removed. Добавляешь третий новый диск как space, после этого автоматом должен начаться ребилд и ты получишь живой рейд.

Если денег нет вообще, ты понимаешь, что диски sda и sdb долго не проживут и нужно лишь вытянуть информацию с них, можно огнаричиться одним новым диском на замену /dev/sdd. Добавляешь его в рейд как space, автоматом пройдёт ребилд, ты получишь живой рейд. И ты должен СРАЗУ спасти данные, т.к. повторюсь, твои sda и sdb ДОЛГО НЕ ПРОЖИВУТ

А у меня раньше рейд 5 стоял из 5 винтов Seagate по 1ТБ. Вот они сыпались один за другим. И мне посоветовали WD. WD у меня работали около 3 лет по сегодняшний день. 1) А какой параметр за число парковок отвечает? 2) Какие винты купить вместо WD 2TB? 3) Поблочное копирование делать с помощью Clonezille? Не разу не пользовался, необходимо вообще на новых дисках перед этим файловую систему создавать?

PtiCa, bigbit, спасибо!

А у меня раньше рейд 5 стоял из 5 винтов Seagate по 1ТБ. Вот они сыпались один за другим. И мне посоветовали WD

http://lurkmore.to/Культ_карго

Нельзя что-то делать, вообще не понимая смысл этого действия.

Seagete сыпались, т.к. у них была проблема в прошивке. Производитель оперативно выпустил обновление, и все вменяемые люди обновились. У меня те самые Seagete живут до сих пор без проблем

WD сыпятся, т.к. у них по дефолту таймаут парковки 5 сек, а в линуксе отложенная запись 10 сек. Все вменяемые люди скачали утилиту wdidle3, увеличили таймаут до 300 сек ( 5 мин ) и опят радуются жизни.

А папуасы наверное и дальше будут справшивать советы и тупо их выполнять, даже не пытаясь разобраться

Были деньги, он бы не тянул, у меня raid массивы zabbix мониторит, если хотя бы показывать начинает о малейших проблемах, меняем диски. За год в московском дц 11 диска уже поменяли.
У меня уже ощущение, что hdd специально стали делать говно, чтобы ssd покупали. За год в офисе в общей сложности 80 дисков из 400 выкинули. Это на декстопах правда, но тенденция пугает, ещё 4 года назад такого брака не было.

Просто о такой проблеме на самом деле даже не слышал, поскольку все исправно работало около 3 лет. Про прошивку тема известна, поэтому и перешел на WD. Обновление ставил, не помогло как и многим другим.

С десктопами я не работаю, только с серверами. Производитель меняет диски по гарантии по мере их износа. Не заметил, чтобы в последние годы диски вылетали чаще

За год в офисе в общей сложности 80 дисков из 400 выкинули

Плохое питание? Погугли на предмет проблем с этими моделями

space

опечатка, spare

Денег и правда пока не особо, но придется потратиться. Какие винты посоветуете брать для восстановления рейда? Seagate 2TB? Такой пойдет? http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SATA_6Gb_Seagate_Pipeline_HD... или http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SATA_6Gb_Seagate_Constellati...

Там по гарантии вернули деньги,(благо 3 года) я даже парится не хочу, те компы были куплены до меня, в готовых сборках, как я пришёл. теперь покупаем только россыпью, с теми блоками питания на 250 ватт я бы тоже сдох, чтобы не мучиться, но всё равно, раньше такого не было, я работал и с совсем дерьмовой техникой, когда работал с страховой конторе, там сидели на самых дешёвых вариантах селеронов и мамках к ним такого же качества с корпусами, и диски жили дольше. Начальство конечно от расходов на оборудование сейчас валидол пьёт, тк комп для манагера 16000 без монитора.Но зато поломок нет вообще пока.Правда сейчас там btrfs, вместо ntfs, это тоже играет не малую роль в жизни диска.

http://www.ulmart.ru/goods/552077, ты ССЗБ 100 лвл, ну какой идиот тебя учил десктопные диски под raid брать?Делаешь счёт и даёшь начальству, и пишешь заявление, либо покупают серверные диски, либо ты не отвечаешь за информацию, и даёшь им на подпись, что ты такой то такой то, в связи с отсутствием материального обеспечения подходящего под их нужды, не можешь обеспечить стабильную работу, в случае отказа покупки нормального обеспечения, я не несу никакой ответственности за информацию компании.

Например EMC.

Подозреваю, что это вопрос времени. 2011г всё же, тогда 1Тб были ещё новыми достаточно. В теории, их надёжность сейчас выше должна быть.

ты посмотри какие они диски покупают, я бы на такие не рискнул даже файлопомойку в компании повесить.

Вообще-то, я по ссылке и кинул эту модель винта, только в другом магазмне http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SATA_6Gb_Seagate_Constellati...

И винт мой домашний, и поэтому счет я могу сделать только себе. А вообще, как показывает на производстве практика, что серверный, что десктопные, один хрен, они дохнут как мухи.

Вряд ли, всё логично. Во время ребилда выше нагрузка на диски, выше риск вылета.

Чем больше размер одного диска, тем больше время ребилда. Предложение использовать для больших дисков raid6 выглядит логичным.

Если раньше тебе хватало wd green, то бери любой дешёвый винт. Просто предварительно погугли на предмет проблем с этой моделью или спроси в hardware.

Самое главное - не ведись на маркетинговую надпись «ёмкость 2 Тб», смотри сколько это будет в байтах. Если диски по размеру окажутся чуть меньше текущих, то не получится сделать копию и будет очень печально за впустую потраченные деньги

Во время ребилда выше нагрузка на диски, выше риск вылета.

Так это всегда было. Почему же граница не 500, не 160, не 80 Гб, а 1 Тб ?

Хорошо. Я уже решил, буду такую модель брать: http://www.nix.ru/autocatalog/hdd_seagate/HDD_Tb_SATA_6Gb_Seagate_Constellati... А как узнать, сколько действительно он в байтах?

И вопрос: как лучше поблочное копирование делать - с помощью Clonezilla или dd? С какими ключами лучше его производить, подскажите, пожалуйста.

По времени ребилда, ИМХО. Точная цифра возможно взята с потолка. Но если ребилд будет идти час - это ок и не создаст проблем, а если 2 дня, то лучше подстраховаться

А как узнать, сколько действительно он в байтах ?

Спросить у кого-нибудь, у кого он есть. Могу вот это показать:

Мodel Family:     Seagate Barracuda Green (AF)
Device Model:     ST2000DL003-9VT166
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Size:      512 bytes logical/physical

Модель совсем другая, но Seagate. Есть вероятность, что размер идентичен у всех Сигейтов одного объёмного ряда.

а если 2 дня

Не идёт он два дня, примерно столько же идёт. Растёт плотность записи на дорожку. При тех же оборотах растёт и скорость чтения. Количеством дорожек, вроде бы, плотность всё ещё не увеличивают...

Размер твоего сеагейта идентичен моему WD. Кстати, у тебя Sector Size: 512 bytes logical/physical могут ведь размеры секторов отличаться. Какой командой ты получил этот вывод консоли? Хочу у себя размер сектора посмотреть.

Кстати, проблема с парковкой головок она относится только к каким-то определенным моделям WD или ко всем?

Подозреваю, что это вопрос времени

Так и есть. В более свежих рекомендациях написано просто использовать RAID-6 для SATA и NL-SAS =)

Т.е. RAID5 (из 3 дисков) в приведенной тообой ситуации, все это тянет?

А в каком месте ТС говорил что у него базы данных, раз выбрал RAID-5 значит скорсть записи ему не важна. Тем более почитай выше я у него спросил чем он руководствовался выбирая именно RAID-5.

Для баз лучше всего RAID-10 или SSD имхо.

Открываю первый попавшийся диск сигейт, и сразу комментарии:

http://www.dns-shop.ru/catalog/i170641/zhestkij-disk-sata-3-2tb-seagate-5900-...

«Брал в систему видеонаблюдения 2 штуки, не в DNS. Еще месяц не прошел, один уже с кучей бэд блоков. Видеорегистратор от такого счастья на 39 процентах отказался дальше форматировать диск (оказалось с тех секторов бэды начинаются). А второй диск вроде ничего отформатился. Лотерея.»

Походу Сигейт еще говеннее, чем WD, ничерта они не исправили в своих прошивках.