raid5 уже не с нами?

> вероятность неудачи превышает 5%

O_O, ты точно понимаешь предмет разговора? Никогда не слышал о такой статистике, но то что надо делать периодический verify массива об этом часто пишут и это очевидно. Вероятность пропорционально зависит от кол-ва дисков в массиве(в первом приближении), а ты тут конкретную цифру назвал :)

Принципиально raid5 от других рейдов не отличается. Я полагаю, для для других типов рейдов всё то же самое.

Другое дело что ручками вытащить информацию с, скажем, raid1 сильно проще чем с raid5.

Нормально это освещено.
5% взято с потолка.
При восстановлении рейд5 все оставшиеся диски сильно нагружаются.
Соответственно, повышается вероятность их поломки, что ведет к поломке всего массива.
Все любят рейд6 =)

А на бекапы все молятся =)

Была железка Компад, ужасно дорогая, не проработав 2-х лет упала. Диски ни куда не смогли воткнуть. Поэтому только зеркало.

А то я знаю грустную историю о падении то ли 10-и, то ли 20-и дискового NAS. Суть в том что после того как диски повынимали и вставили их обратно(при выключенной железке) железка при включении сказала что "ОМГ, все диски умерли!" и на этом всё закончилось. Саппорты в не то компак, не то хп сказали что как восстановить данные они не знают и несколько тб данных были потеряны.

Ненавижу такие "решения".

неа, никто не угадал :)

на самом деле у райда пятого нехватает чегото в алгоритме восстановления (?хешь дырявый получается?) на большом размере _разделов_ (не райда в сумме) и вероятность несборки после ошибки именно такая как я писал.

про то что ляжет еще один диск в момент восстановления это тривиально, шутка юмора в том что деградированный райд просто не соберется в одном из 20 случаев при исправных дисках.

вот и спрашиваю у кого есть ссылка на информацию точную по данной печальной истории.

>Была железка Компад, ужасно дорогая, не проработав 2-х лет упала.

Ну, про бекапы я сказал. К железу тоже относится.

>на самом деле у райда пятого нехватает чегото в алгоритме восстановления

Тоже интересно - впервые слышу об этом.

Ты про write hole что-ли? Всё есть даже на википедии (http://en.wikipedia.org/wiki/Raid5).

А вот в твою статистику я не верю.

Все пятые райд-массивы которые делал больше чем 500 ГБт дисками не выживали после обычной полугодовой эксплуатации. Все что сделано 120 ГБт разделами живет и не кашляет уже по 3-4 года.

Ну а какая твоя статистика?

все что нашел "научного" просто рассуждения о вероятности ошибки чтения обычного с диска на объем современного диска делает потерю данных в процессе восстановления деградированного массива вероятной ситуацией.

Моя статистика: несколько бэкап-серверов от 1.5 до 5тб живущие несколько лет и пережившие несколько падений электричества и замену неисправных хардов.

не интересен размер райда _суммарный_

интересен размер _партиций_ из которых он состоит.

У меня есть сервак в котором руками 16 дисков вставлено в 3 захода и он все это пережил и данные ни разу не терял и из падений и прочего восстанавливался. Но в нем максимальная партиция 120ГБт.

Каких ещё партиций? Диски по 750гб или 1тб, я уже не помню. Без partition table, сразу поверх создана файлуха.

по сколько сколько _лет_ они у тебя работают?

да, и напомни сразу когда терабайтники пошли в продажу...

750гб уже несколько лет продаются. Года два самому старому серверу, остальные по году точно отпахали. Так что ты зря меня во лжи ловишь.

> 28 апр 2006 ... Компания Seagate Technology LLC представила первый жесткий диск для настольных компьютеров, который на 750 гигабайт памяти,

ну да больше двух быть не может :) так были на нем вылеты до состояния -2 диска? и собрался он потом? у меня это происходит с вероятностью ошибки 1/20.

Xyratex 5412. 9 дисков по 750Gb.(из них - один диск в hot spare)
один LUN и один LD(т.е. весь пятый рэйд в системе виден одним разделом)
Год работы без проблем. До этого на других массивах тоже ничего подобного не замечал.
Ваши размышления не соответствуют ни практике, ни теории.

> так были на нем вылеты до состояния -2 диска?

После вылета двух дисков raid5 превращается в груду ненужного железа. На самом деле такой вылет был, но мы форсом загнали один из дисков обратно чтобы хоть как-то поднять массив. После замены первого диска заменили и второй.

а какое отношение этот сундук имеет к вопросу?

он хоть раз в -2 диска попадал состояние? судя по гордости высказанного нет.

_Софтварный_ 5 райд работает и даже один диск теряет без потерь, но нефига не лечится когда в деградированном состоянии разваливается !если собран из кусков размером более 500 ГБт!.

Надеюсь _так_ понятно сформулировано?

Имею многократный опыт собирания врукопашную разваленных софтварных 5х райдов собранных из меньших чем 500 ГБт кусков. Ни разу ничего не терял.

И очень херовую статистику когда из больших дисков райды не преживают сбоя в деградированном состоянии. Восстановить получается только каждые раз 15. Вобщем совсем плохо, пригодно только для тепличных условий. Слишком дорого эксплуатация обходится.

PS и я бы вообще не был столь уверенным что происходит в недрах данного сундука. Ну и искренне молился покрепче за его здравие.

PPS В общем теперь только 6 райд когда нужно место и 10й когда производительность.

вот вот... на маленьких дисках все можно слепить после аварии деградированного массива в 99%.

А на больших лотерея :( Вам крупно повезло, на раз 3-й будет "мучительно больно" :(

Так что рекомендую 6й использовать.

Очень нормализует сон. Ну и жизнь размерная становится. :)

На каких таких маленьких дисках? 8 хардов по 750 это не самый маленький массив.

Я в везение не верю, всегда есть бэкапы. На счёт raid6 подумаю, спасибо.

> так были на нем вылеты до состояния -2 диска?

Третий и последний раз - отказ 2-х дисков одновременно в RAID5 == потеря данных. Всегда. Это математика, и не надо приплетать сюда размер компонентов массива - он тут ни при чем.

Ну да прям счас "потеря данных". Жостко как все в проприетарном мире "хардварных" райдов :)

"Вылет диска" это не всегда вылет диска. Чаще это просто сбой, после которого диск опять "не вылетевший". А если просто произошел ребут по питанию (например блок питания) или память глюкнула?

Что каждый такой раз подымать бекап файловой в несколько терабайт? Или все таки попробовать собрать рейд, проверить файловую и поменять спокойно сбойный диск?

Если бы я _десятки_ раз не собирал софтварные пятые райды развалившиеся в деградированном режиме работы, то я бы пожалуй поверил.

Тоже третий и последний раз :) очень очень дорогим становится 5й райд в эксплуатации. Онли в теплица :(

> На каких таких маленьких дисках? 8 хардов по 750 это не самый маленький массив.

"маленькие" получаются легко просто и естественно :)

1) Был сервак файлохранилище с могучими дисками имевшими на тот момент лучшую цену за Гиг. Допустим по 250 ГБт 4 диска. Жил на нем 5й рейд. А поверх него LVM.

2) Надо добавить еще 5 дисков (благо контролеры производились). О они уже оптимальную цены на Гиг имеют при размере 500 ГБт. Нарезаем в каждом из новых по партиции 250 ГБт и расширяем старый райд. Оставшееся на новых дисках место объединяем в новый 5й райд и подключаем его как физтом LVM.

3) Процедура повторяется с 750 ГБт дисками.

И о чудо зачем какие то дятлы шаред спер в софтварном райде придумали? не только для 10го ведь? :)

Так теряется минимум пространства. Если все делается за свои, а линукс применяют только тогда как я понимаю когда свои начинают считать :), то очень даже экономно получается.

Сейчас наверное проще GFS делать с нодами по 5-6 дисков. Брать при этом обычные писюки с 2 гигабитными картами встроенными. Ну и свичок какой от HP.

Но внутри ноды все равно диски (если за свои куплены) использовать эээ "рачительно" захочется :)

Ну во первых. Для этого и есть hot-spare. Был случай когда вывалилось
два веника. Hot-spare автоматом стал вместо одного из них. В течение
3-х дней все работало пока веники не подвезли.
Этот "чемодан" простой и надежный как AK-47. 
Но судя по тому что вы на коленке собираете "рэйды" денег на такое оборудование у Вас нет.
Нет финансов - придумывайте велосипеды, и размышляйте над свои самосбором.

> Нет финансов - придумывайте велосипеды, и размышляйте над свои самосбором.

Продадим Вам чистый горный воздух, недорого. Пишите нам.

Рулит зеркалка масивов. 5-й год на 4-x Sun Storage 3511, два умерших Seagate и никаких проблем с ребилдом raid5.

T.e.масивы с raid5 зазеркалены попарно. :) Причем каждый масив имеет по два контроллера. Недешево и сердито.

>raid5 зазеркалены попарно. :) Причем каждый масив имеет по два контроллера. Недешево и сердито.

это как совмещать неприятное с бесполезным, скорость - говно, эффективность вложений - тоже.

Лучше RAID 1+0 еще не придумали