Развалился программный RAID 5 из 3-х дисков

Какое отношение имеют бед-блоки к прошивке?

Еще другая модель хреновая тоже:

http://www.dns-shop.ru/catalog/i137031/zhestkij-disk-sata-3-2tb-seagate-7200-...

«Недостатки: Проработал полтора года и сдох!!! Не определяется в BIOS, стрекочет головками. Низкая скорость чтения мелких файлов. Постоянно щёлкает головками. Надо было прошивать, но не думал, что такую сырую технологию выкатит „искаропки“ сигейт. Вот такая трабла вылезла, по аналогии с видео. Сам я гермоблок ещё не вскрывал. http://youtu.be/wDH6QQE4NUs"

Вот про серверный еще комменты не смотрел. Но сдается мне, походу, опять придется брать WD, но выставить там на этот раз время парковки головок. Грустно, но Сигейт за все эти годы, ничего не исправили в своих прошивках.

Какое отношение имеют бед-блоки к прошивке?

Ты же сам писал:

Seagete сыпались, т.к. у них была проблема в прошивке. Производитель оперативно выпустил обновление, и все вменяемые люди обновились. У меня те самые Seagete живут до сих пор без проблем

проверь питание. было - на сервере сдох один из источников питания, а второго не хватало для раскрутки всех дисков, сыпались io ошибки и рейд рассыпался. может у тебя такое же.

Нет, у HDD диска есть параметр Non-recoverable read errors per bits read вероятность невосстановимой ошибки чтения, у WD Green он 10^14, а это примерно один раз за 12 ТБ у ТС для восстановления будет считываться 4 Тб т.е. ~30%.

Даташит: http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-701229.pdf

Ну и отказ механики никто не отменял тоже но тут не уверен у меня RAID-1 из 2х2 Тб ребилдился часов за 5.

Там же написано, что это про SATA которые имеют Bit Error Rate 10^15, а у говна типа wd green, так и вовсе 10^14, у SAS дисков BER 10^16 и если не делать уродцев типа 8+1 и более, то всё будет хорошо.

Если ориентироваться при покупке на отзывы, то вообще ничего не купишь, т.к. всегда найдется тот, у кого сразу после покупки или через некоторое время винт сдох.

Бери тот, который подойдет по размеру в массив, с наибольшей гарантией (>= 3 года). Какой именно производитель - без разницы.

Ну а вообще проверь, действительно может контроллер сбойнул и вообще ниче покупать НЕ НУЖНО. Проверь контроллер, проверь каждый диск тем же smart long тестом и mhdd на предмет времени доступа к блокам. Если всё ок, то как router советовал, увеличь тайм-аут для своих WD-шек и пометь массив как clean.

Открываем сайт WD и что же мы видим ?

Desktop - WD Blue, WD Green, WD Black
Mobile - WD Blue, WD Green, WD Black,  WD Black²
NAS - WD Red, WD Red Pro, WD Re
Datacenter - WD Xe, WD Re, WD Se
и т.п.

Serial No 	Model No /Product Name 	Status 	Exp Date(MM/DD/YYYY)
	WCAZA9629068 	WD20EARX-00PASB0 2 TB WD Green SATA Hard Drive 	In Limited Warranty 	9/10/2014
	WCAZA9637224 	WD20EARX-00PASB0 2 TB WD Green SATA Hard Drive 	In Limited Warranty 	9/10/2014
	WMAZA5049112 	WD20EARX-00PASB0 2 TB WD Green SATA Hard Drive 	Out of Limited Warranty 	8/19/2014

Собственно что и имеем, собрали из говна и палок, результат соответствующий.

К тому же на померший диск еще и гарантия только что закончилась, отработал ровно гарантийный срок + 2недели, хотя продавца еще можно успеть заставить поменять, все же гарантия у него от даты продажи, так что советую поспешить сдать в гарантию.

Уже поздно, ты SMART посмотри те диски что «живые» по 800,000 парковок намотали, а в даташите у них

Load/unload cycles 300,000

Почему из говна собрано? Обоснуй. А названия в модельном ряде еще ничего не говорят. Там Green и у меня Green. То что винт не 24x7 еще ничего не говорит.

Так они не бед-блоками сыпались а внезапно не могли ничего прочитать и вместо данных выдавали кашу.

проверь питание. было - на сервере сдох один из источников питания, а второго не хватало для раскрутки всех дисков, сыпались io ошибки и рейд рассыпался. может у тебя такое же.

Проверять уже нет смысла, так как известно, что дело в парковке головок. Количество парковок превышает предельно допустимое по спецификации

Так они не бед-блоками сыпались а внезапно не могли ничего прочитать и вместо данных выдавали кашу.

Кто не бед-блоками сыпался? Если ты о сеагейт, то они как раз бед блоками и сыпались.

У них слишком высокая вероятность невосстановимой ошибки чтения 10^14.

У тебя почти 30% вероятность словить такую ошибку при ребилде, а это значит что массив не восстановится.

Я слышал про баги что они начинали портить данные при записи, при определенном стечении обстоятельств, но при этом сообщали системе что все якобы нормально записалось. Про такие от которых бед-блоки появляются не слышал.

А можно мне примеров винтов, где этот параметр больше 10^4. У constellation-cs, к примеру, который направлен на работу 24x7 и позиционируется как меганадежный, этот параметр также равен 10^4

http://www.seagate.com/www-content/product-content/constellation-fam/constell...

Посмотрел чек, у меня гарантия по чеку истекает 29 сентября. Но вдруг они скажут, что он еще рабочий, не хоть и там дофига раз головка парковалась. Типа у нас смарт показывает, что все хорошо.

WD Red Pro - 10^15

WE Re - 10^16

Он же input/output error выдает при попытке добавить в рейд, вот это и приводите как причину. Значит не может считать сектора в которых метаданные рейда хранятся.

Нет, у HDD диска есть параметр Non-recoverable read errors per bits read вероятность невосстановимой ошибки чтения, у WD Green он 10^14, а это примерно один раз за 12 ТБ у ТС для восстановления будет считываться 4 Тб т.е. ~30%.

Подозреваю, что в рейде эти ошибки должны обрабатываться, а не выбивать диск в faulty removed при первой же ошибке. Хотя исходники дисковой подсистемы ядра пока не читал.

З.Ы. [зануда моде он]

у WD Green он 10^14,

может всё же минус: 10^-14 ? [зануда моде офф]

Подозреваю, что в рейде эти ошибки должны обрабатываться, а не выбивать диск в faulty removed при первой же ошибке. Хотя исходники дисковой подсистемы ядра пока не читал.

В случае когда raid не деградирован то да, он просто восстановит блок через четность и все. Но когда рейд деградирован но восстанавливать не откуда, а невосстановимая ошбка чтения это значит что диск считал сектор но данные 100% повреждены, внутренняя чексумма не совпадает, рейд контроллер думаю делает abort в таком случае.

В случае ТС видимо слишком много ошибок подряд произошло и рейд выкинул диск.

может всё же минус: 10^-14 ?

Да, конечно, 10^-14, это я из даташита плохо скопировал там пишут «1 бит на 10^14 прочитанных», неудачно сократил.

Огромное спасибо всем за то, что помогли разобраться в проблеме! Действительно, если бы знал про проблему перепарковки головок, то, конечно, бы вовремя спохватился и переустановил это значение, с помощью соответствующей утилиты. Сейчас сервак вырубил. Как только будет возможность, куплю себе 3 винчестера по 2ТБ, которые 24x7 и 10^-15 или 10^-16 И с помощью dd перекопирую данные:

sudo mdadm --stop /dev/md0 dd if=/dev/sda of=/dev/новый_винт_1 bs=4096 dd if=/dev/sdb of=/dev/новый_винт_2 bs=4096

Далее, я так понимаю нужно создать новый рейд md1 и добавить в него винты: sudo mdadm --assemble --scan --force

Все верно? Или надо еще дополнительно прописать привязку md1 к соответствующим /dev/новый_винт_1 и /dev/новый_винт_2 Напишите, пожалуйста, что неправильно.

Окей, кстати, а есть 10^-15 или 10^-16 у Seagate? Облазил их сайт, не нашел.

Есть, но максимальный объём 1.2 ТБ.

Seagate Enterprise Performance 10K HDD

http://www.seagate.com/gb/en/products/enterprise-servers-storage/mission-crit...

В целом все верно, вместо bs=4096 можно взять bs=1M будет быстрее происходить копирование.

Поскольку копируются диски 1:1 то достаточно будет выключить, отключить старые диски, и должен сам собраться в деградированном режиме, тогда добавлять диск как spare и начнется ребилд.

ssd под базы без рейда?из 3 дисков вообще массивы делать смысла мало, кроме разве что первый,и то, надо 4,к тому же 6 рейд ты не сделаешь из 3 дисков.

В целом все верно, вместо bs=4096 можно взять bs=1M будет быстрее происходить копирование.

Поскольку копируются диски 1:1 то достаточно будет выключить, отключить старые диски, и должен сам собраться в деградированном режиме, тогда добавлять диск как spare и начнется ребилд.

Новые диски будут соответствовать другим именам дисков, например sdc1 sde1, sdf1. Нужно ли где-то прописать их новые имена, соответствующие рейду? Или после копирования нужно выключить сервер и вставить новые диски в в сата-порты на материнской плате, куда были подключены старые? Вообще же есть наверное привязки: 1) рейд-массива md к соответствующим ему дискам. 2) дисков рейд-массива к соответствующим сата-портам?

Поправьте меня, если ошибаюсь.

из 3 дисков вообще массивы делать смысла мало

Очень смелое заявление. RAID-5 из 3-х дисков очень распространённое и надёжное решение.

надёжное вряд ли, а учитывая жадность компаний, распространённость дело сугубо в недостатке средств, raid 5 в идеале от 4-5 дисков.

raid 5 в идеале от 4-5 дисков.

Это не так. raid-5 тем надёжнее, чем меньше дисков.

sudo mdadm --assemble --scan --force

Не надо --force. sudo mdadm --assemble --scan

или даже

sudo mdadm --examine --scan, а по результатам собрать вручную

Новые диски будут соответствовать другим именам дисков, например sdc1 sde1, sdf1. Нужно ли где-то прописать их новые имена, соответствующие рейду?

/etc/mdadm.conf

По-хорошему там должен быть прописан только идентификатор рейда ( у тебя 942adab0:1d983c20:b94deef7:686c3c5d ), его тип ( raid5 ) и количество дисков ( 3) .

Этот файл нужен для автоматической сборки рейда при загрузке ОС. Вручную можно собрать рейд и без этого конфига.

// router

Поскольку массив уже прописан в /etc/mdadm.conf и uuid не меняется, потому что делается копия 1:1 то должно все собраться автоматически.

mdadm смотрит не на то к какому порту подключен диск, а на то какие метаданные на диске записаны.

Более того если посмотреть в /etc/mdadm.conf никаких sda sdb sdc там нет.

ssd под базы без рейда?

Почему без рейда? RAID1, можно наверное и 10 но если там просто в десктопную материнку воткнуто скорее всего не хватит шины SATA уже, все таки один SSD может до 5 Гбит/с выдать.

з 3 дисков вообще массивы делать смысла мало

Понятно что мало смысла, но в обычный десктопный корпус особо больше 4 дисков не запихаешь, для 6-8 дисков уже надо брать побольше

кроме разве что первый,и то, надо 4,к тому же 6 рейд ты не сделаешь из 3 дисков

Я знаю что не сделаешь из 3, просто привел факты что из-за низкого качества дисков desktop сегмента затея с RAID5 мало того что тормозит так еще и нифига не надежная, потому что довольно высокая вероятность потерять данные при ребилде массива.

Хотя смысла рейда именно 5/6/10 дома я не очень понимаю, он ведь не заменяет бэкапы, а с точки зрения технической лишняя головная боль + еще и место теряется. Оправданно разве что в случае RAID0 для ускорения под игры там всякие, ну может еще RAID1 для важных данных, но ведь рейд не бэкап. Многие думают, сделаю RAID и бэкапы не нужны.

А такой ли это показатель надежности? У людей и под три миллиона парковок в смарте и всё пашет. MTBF важнее. К тому же тут чисто под домашние нужды массив. Стоит ли впадать в панику «шеф, всё пропало, клиент уезжает, гипс снимают» ?:) Чел ща побежит бабос тратить на новые винты, хотя его массив еще года четыре спокойно бы отработал, не сглюкани дешевый сата контроллер не вовремя.

А такой ли это показатель надежности?

Насколко мне известно это одна из основных причин выхода из строя WD Green.

Ну на самом деле у ТС слишком старый smartctl

Device is:  Not in smartctl database 

А вот что интересно у WD Green в даташите нет строки MTBF. Я искал и не нашел.

Чел ща побежит бабос тратить на новые винты, хотя его массив еще года четыре спокойно бы отработал, не сглюкани дешевый сата контроллер не вовремя.

У них гарантия к концу подходит и учитывая как показательно умер один, не факт что и остальные заним не последуют через 2 месяца. Тем более ТС говорит что пыльно очень значит вероятен перегрев.

Кстати, WD Green которые у меня стояли на самом деле как раз хороши для серверных систем, о чем говорит статистика: http://www.3dnews.ru/797231

http://www.3dnews.ru/assets/external/illustrations/2014/01/22/797231/table-3.png

Все-таки, как я понял основная проблема у Segate так и осталась - они вначале работают нормально, потом резко выходят из строя. В этой связи, для замены дисков рейд-массива стал посматривать на WD.

«У всех остальных поставщиков доля поступлений ниже доли рынка, причем у Western Digital и Hitachi почти на 11%. Таким образом, устройства этих компаний отличаются более высокой отказоустойчивостью.» (Имеется в виду поступления отказавших винтов). http://www.storelab-rc.ru/sravnenie-nadezhnosti-hdd.htm

Из WD сейчас рассматриваю следующих кандидатов: http://www.nix.ru/autocatalog/hdd_western_digital/HDD_Tb_SATA_6Gb_Western_Dig... http://www.nix.ru/autocatalog/hdd_western_digital/HDD_Tb_SATA_6Gb_Western_Dig...

У Red выше предельно допустимое Количество операций парковки 600 000, чем у Se, где этот параметр равен 300 000. Но в то же время Red проигрывает Se по Количеству неисправимых ошибок чтения на число прочитанных бит. У Red - 10^-4, а у Se - 10^5. http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-771475.pdf http://www.wdc.com/wdproducts/library/SpecSheet/RUS/2879-800002.pdf

Думаю здесь важнее параметр Количество операций парковки.

Вообще оба этих винта превосходит Re ( http://www.nix.ru/autocatalog/hdd_western_digital/HDD_Tb_SATA_6Gb_Western_Dig... ), но он не поддерживает Advanced Format. Зато у него количество операций парковки - 600 000 и Количество неисправимых ошибок чтения на число прочитанных бит - 10^-6

Кстати, если я куплю винт без Advanced Format, то смогу ли я скопировать с помощью dd данные с моих винтов? У них же был Advanced Format.

А такой ли это показатель надежности? У людей и под три миллиона парковок в смарте и всё пашет. MTBF важнее. К тому же тут чисто под домашние нужды массив. Стоит ли впадать в панику «шеф, всё пропало, клиент уезжает, гипс снимают» ?:) Чел ща побежит бабос тратить на новые винты, хотя его массив еще года четыре спокойно бы отработал, не сглюкани дешевый сата контроллер не вовремя.

У меня же к материнке подключены винты, ты про этот сата контроллер?

У них гарантия к концу подходит и учитывая как показательно умер один, не факт что и остальные заним не последуют через 2 месяца. Тем более ТС говорит что пыльно очень значит вероятен перегрев.

Кстати, он не то чтобы помер, он просто выпал из рейда. SMART он проходит и монтируется. Просто я сейчас боюсь запускать пересборку массива, так как возможно не смотря на положительный (PASSED) СМАРТ, при пересборке, данные разрушатся.

иди читай, что такое AF

Это кластеры по 4К. Перспективная технология, которая пришла на смену 512 байтовым кластерам. Просто если в исходном диске разметка кластров была 4К, а в новом 515 байт будет, то скопировать данные посекторным копирование может не получиться? Вообще 512 это устаревшая уже технология.

Кстати, WD Green которые у меня стояли на самом деле как раз хороши для серверных систем, о чем говорит статистика: http://www.3dnews.ru/797231

Ты упоролся, грины эталонно тормозные, порядка 40 IOPS. То, что они по статистике надёжные, не значит, что они серверные.

Думаю здесь важнее параметр Количество операций парковки.

Ну если девиз «слабоумие и отвага» и таймаут не увеличивать, то да, у wd это будет самый главный параметр

но он не поддерживает Advanced Format

Здесь «Advanced» означет не «круто», а «размер блока - 4кб»

И ещё. У backblaze всё же особый случай. Эти корпуса не слишком хороши с точки зрения дисков, вибрация никак не гасится и отлично передаётся на соседние диски.

Так и не получил вразумительного ответа, почему Количество неисправимых ошибок чтения на число прочитанных бит важнее?

Где в этом даташите IOPS? http://www.wdc.com/wdproducts/library/SpecSheet/ENG/2879-771475.pdf

Ты упоролся, грины эталонно тормозные, порядка 40 IOPS. То, что они по статистике надёжные, не значит, что они серверные.

В статье они позиционируются как серверные. И если объединить их в рейд массив, то они будут работать быстрее. А вообще, это смотря какие у сервера на производстве задачи. Но я сомневаюсь, что в статье на производстве у них какие-то не требующие высокой скорости задачи.

Здесь «Advanced» означет не «круто», а «размер блока - 4кб»

Я вообще то говорил не про круто, а про различную разбивку секторов: 1) влияет ли она при копировании диска через dd? 2) вообще advanced format это новая технология в отличие от преславутых 512 байт и удивительно, что у этого винта нет ее. Использование физических секторов по 512 байт на сегодняшний день фактически бессмысленно: ни одна из современных файловых систем не использует кластеров такого размера, стандартным параметром NTFS при форматировании раздела является как раз 4 КБ, и запись и считывание данных осуществляется именно такими порциями.

Где в этом даташите IOPS?

Лично мерял через fio. Читал обзоры, в которых фигурировала та же цифра, в т.ч. на хабре.

В статье они позиционируются как серверные

В статье они позиционируются как «дешёвые». Производитель их позиционирует исключительно как «Desktop»

И если объединить их в рейд массив, то они будут работать быстрее

Спасибо, кэп ;)

А вообще, это смотря какие у сервера на производстве задачи

Именно. И если стоит задача «побольше терабайт и подешевле», а надёжность сделаем за счёт избыточности, то пойдут и десктопные винты. Понятно что разделение винтов на десктоп и сервер условно, но никому в здравом уме не придёт в голову назвать WD Green серверными винтами ;)

1) влияет ли она при копировании диска через dd?

dd копирует что укажешь куда укажаешь. Ядро запрашивает у диска нужные блоки. Ты можешь копировать хоть по 319 байт, скорость будет ниже чем ожидал, но копирование пройдёт без проблем

2) вообще advanced format это новая технология в отличие от преславутых 512 байт и удивительно, что у этого винта нет ее.

Это не новая технология, а костыль для старого протокола, который не позволяет 512-байтными блоками адресовать более 2 Тб.

Если диск не больше 2 Тб, то размер блока не критичен.

Если размер блока 4кб, ты должен явно это учитывать при разбивке диска. www.linux.org.ru/wiki/en/Выравнивание_разделов_диска

Использование физических секторов по 512 байт на сегодняшний день фактически бессмысленно

facepalm

facepalm

Читай: http://itc.ua/articles/western_digital_advanced_format_ostorozhnyj_debyut_45448/

сам-то читал? :D

Это не новая технология, а костыль для старого протокола, который не позволяет 512-байтными блоками адресовать более 2 Тб.

Если диск не больше 2 Тб, то размер блока не критичен.

Если размер блока 4кб, ты должен явно это учитывать при разбивке диска. www.linux.org.ru/wiki/en/Выравнивание_разделов_диска

1)Дак имеет смысл покупать с Advanced Format или нет? В стаьте, что я приводил пишут, что она как раз таки повышает производительность и много чего хорошего дает. Приведены диаграммы доказывающие это. Стиральную машину тоже можно назвать костылем для ручной стирки белья. Любое усовершенствования с такой позиции можно рассматривать как костыль)) lol

2) Ну а какой ты жесткий диск посоветуешь из 2 TB WD SATA и из каких соображений?

В статье они позиционируются как «дешёвые». Производитель их позиционирует исключительно как «Desktop»

Вообще то если прочитать внимательнее, они позиционируются как дешевые серверные винты ;)

1)Дак имеет смысл покупать с Advanced Format или нет?

Об этом имет смысл думать в двух случаях - а) если ты эксперт по highload, на вопросах производительности съел не одну собаку и разрабатываешь архитектуру для будущего сервиса

б) если ты купил диск с размером сектора 4 кб, то разделы томов нужно выравнивать по границе 2 МиБ.

Во всех остальных случаях про размер блока можно забыть и не вспоминать никогда

до сих пор тебе хватало производительности тормозного wd green. Ты действительно думаешь что тебе жизненно важны незначительные различия в скорости?

В стаьте, что я приводил пишут, что она как раз таки повышает производительность и много чего хорошего дает. Приведены диаграммы доказывающие это.

Если бы ты читал внимательнее, то увидел бы, что на разных тестах 4к сектор показывает то большую, то меньшую скорость. Никакого «стабильного превосходства над старым 512 сектором» там и близко нет

Кстати, если ты обратишь внимание на графики IOPS, то увидишь уже названную мной цифру 40 IOPS для wd green ( кстати, с 4к сектором )

2) Ну а какой ты жесткий диск посоветуешь из 2 TB WD SATA и из каких соображений?

Для домашнего рейда - любой дешёвый. Раз backblaze привёл статистику с частыми отказами seagate, не бери seagate.

Пойми уже, что мир не идеален и не существует одного единственного правильного варианта

добавил комментарий «серверный wd green», будет настроение повышать