Вопросы по аппратному RAID-6

тож интересно услышать про аппаратный..

(но сам бы я не рискнулбы аппаратный поставить, не доверяю я аппаратным...)

твой прон АНБ не нужен. ИМХО.

1) Если на контроллере есть спикер - то да, по-умолчанию пищание включено. Но обычно горит красным бэкплейн и пищит он же.

2) Согласно TLER серверные диски при ошибке отключаются очень быстро.

3) На больших объёмах массива - более чем есть. Т.к. вероятность невосстановления при ребилде довольно быстро растёт при использовании raid5 и составляет ЕМНИП порядка 10% при объёме массива порядка 10TB. http://blog.aboutnetapp.ru/archives/975

P.S. Будь логичным, либо пробелы перед всеми знаками препинания ставь (точка и запятая), либо не ставь перед знаком вопроса.

Хороший ссылка. А то я все слышал звон, да не знал откуда он. А самому считать лень.

Когда станет совсем жалко тратить место на 10й софтовый, прикуплю железный 6й.

Правда вот вопрос:
Насколько чревато десктопные диски с железякой-контроллером пользовать?

Насколько чревато десктопные диски с железякой-контроллером пользовать?

Да просто сейчас пошли такие железяки-контроллеры, которые с десктопными дисками более 8 дисков не могут. Больше - только через экспандер, а экспандер - это только SAS. Нисколько не чревато, также работают абсолютно.

У меня тут один комп. Сейчас там 12 дисков, надо докупить ещё, не знаю пока, сколько получится туда докупить. В связи с таким количеством дисков, да и с возрастом уже имеющихся, RAID5 оставлять уже как-то очково. С другой стороны, надо чётко понимать, как оно работает. Тут дело вот в чём. Вероятностная теория тут не особо применима ИМО. Если диски из одной партии начинают сыпаться, то сыпятся они либо все, либо отказы единичны. Вот у меня так ни разу не было, чтобы умерло два диска. Гибель дисков либо массовая, либо дохнут по одному. Поэтому, если рейд6 будет выбраковывать диски прямо во время ребилда, то при массовом отказе это нифига не поможет - один фиг рейд не соберётся. А при единичном отказе, хватает рейда5. Я верю в принцип «чем проще», тем надёжнее. Рейд6 - это больше движений головами, больше износа, теоретически. Практически - не знаю, спрашиваю. С шестым рейдом дела не имел, и не хочу начинать именно с этой машины, могу поиметь слишком много гимора.

твой прон АНБ не нужен. ИМХО.

это да (всё верно). но я имею ввиду что RAID-6 может например сломаться (аппаратный контроллер), и тогда можно невозвратно потерять инфу например из-за несовместимости формата.

или другой аспект: вдруг аппаратный RAID-6 не удосужится принять верное решение в чрезвычайной стуации.. (кто там на баги его проверял? кто проверял все возможные виды фэлов?)

что RAID-6 может например сломаться (аппаратный контроллер), и тогда можно невозвратно потерять инфу например из-за несовместимости формата.

RAID6 не заменяет бэкап. Покупаешь новый сервер ставишь туда старые диски, форматируешь, раскатываешь из бэкапа. И не надо бояться.

RAID-6 может например сломаться (аппаратный контроллер), и тогда можно невозвратно потерять инфу например из-за несовместимости формата

Покупается контроллер такой же фирмы, и всё восстанавливается. Если бы из-за кончины контроллера нельзя было бы восстановить инфу, ими никто не пользовался бы.

а бэкапы же — на RAID6 класть? или куда?

или другой аспект: вдруг аппаратный RAID-6 не удосужится принять верное решение в чрезвычайной стуации..

Аппаратный контроллер имеет батарейку и оттестирован на предмет ошибок по самое немогу. В случае с ограниченной железкой, это реально. Я считаю гораздо более вероятной ситуацию, когда софварный рейд из-за BSOD-а, подвисания, вырубания чего угодно, начудит делов.

или куда

Насколько чревато десктопные диски с железякой-контроллером пользовать?

Десктопные диски от серверных отличаются:

1) URE (Unrecoverable Read Error) или BER (Bit Error Rate), соответственно 10^14 против 0^15 или даже 10^16 (2 порядка!) у серверных

2) ERC (Error recovery control. TLER у WD, CCTL у хитачей и т.д.). Десктопные диски в случае бэд-сектора будут пилиться долго-долго, пытаясь прочитать этот самый сектор, тем самым тормозя весь массив, в отличие от отстрела диска за 7 ЕМНИП секунд.

Ну если на основе этой информации всё ещё захочешь десктопные диски с железным контроллером использовать - обязательно отключи автопарковку :)

Вероятностная теория тут не особо применима ИМО. Если диски из одной партии начинают сыпаться, то сыпятся они либо все, либо отказы единичны.

Применима. Просто не надо думать, что raid заменяет backup и надо думать, что диски - расходный материал.

Аппаратный контроллер имеет батарейку и оттестирован на предмет ошибок по самое немогу. В случае с ограниченной железкой, это реально. Я считаю гораздо более вероятной ситуацию, когда софварный рейд из-за BSOD-а, подвисания, вырубания чего угодно, начудит делов.

Святая простота!!!

Вообще, смысл в 6-м рейде вместо 5-го, исходя из вашей практики, был хоть раз ?

В моей практие вендор рекомендует использовать именно raid6 при формировании рейд групп. Он опирается на свою статистику граблей, правда это относится к СХД, а не железке для сервера. Но думаю, что смысл тот же.

Аппаратный контроллер имеет батарейку и оттестирован на предмет ошибок по самое немогу. В случае с ограниченной железкой, это реально. Я считаю гораздо более вероятной ситуацию, когда софварный рейд из-за BSOD-а, подвисания, вырубания чего угодно, начудит делов.

Ты удивишься, но у меня все с точностью до наоборот.

Автопарковка везде отключена. В жопу такую экономию ресур... ой! электричества!

Да просто сейчас пошли такие железяки-контроллеры, которые с десктопными дисками более 8 дисков не могут. Больше - только через экспандер, а экспандер - это только SAS. Нисколько не чревато, также работают абсолютно.

Что-то от меня ускользает смысл этого абзаца. Поясни, пожалуйста?

http://geektimes.ru/post/78311/

Прекрасная статья. Подробно.

Таки останусь жить на 10м.

Почитал, что есть URE/BER и какие у них различия у дектопных\серверных.

Возникло некое «сомнение» - а за счет чего же они различаются на порядок-два. Ведь всяко диски клепают на одних и тех же линиях.

В моей практие вендор рекомендует использовать именно raid6 при формировании рейд групп. Он опирается на свою статистику граблей,

Из практики написания подобных рекомендаций:
- Вась, а что написать в спеках к проекту ?
- пиши рейд 5
- а это надежно ?
- ну напиши рейд6.
- ок.
«В качестве хранилища для нашего проекта рекомендуется использование не одиночных дисков, а сетевых хранилищ, обеспечивающих должный уровень быстродействия и надежности, либо рейд массив уровня 6, как обеспечивающий наилучшее соотношение производительности и сохранности. Так же необходимо помнить об обеспечении стабильного питания систем во избежание...»
А народ потом на форумах сидит и меряется у кого рейд круче.

Из практики написания подобных рекомендаций

Вот именно поэтому ты у них не работаешь, и твоё железо не продаётся такими объемами. Там люди всё-таки некоторой статистикой заморачиваются. Но ты можешь и дальше всё отрицать, опираясь на опыт своей конторки.

Чувак, это писалось в бааааальшом ынтырпрайзе. И на всякий случай сверь текст требований с приведенным. ;)

Ну а что не так то, если 6-й рейд реально надежнее 5-го?

Вот и я говорю, работает же.

это писалось в бааааальшом ынтырпрайзе.

Я оставлю это на совести твоего баааааальшого ынтырпрайза, лично мне кидали статистику по рейдам вендора, который как раз и делает «сетевые хранилища, обеспечивающие должный уровень быстродействия и надежности.» Вообще, я не понял твоей предъявы, ты либо опровергай высказывание, либо соглашайся. А то ляпнул что-то непонятное, которое никак не противоречит моему посту, но вроде бы и в позу встал.

не доверяю я аппаратным

Очень зря.

У тебя камент был, а не пост, но не суть. А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

Если на контроллере есть спикер - то да, по-умолчанию пищание включено.

С языка снял.

если 6-й рейд реально надежнее 5-го?

Он теоретически надёжнее. Надёжнее ли он в реальности - пытаюсь узнать тут. Давайте, поставим вопрос иначе. У вас, на вашей практике хоть раз не поднимался RAID5 по причине того, что отказал один и диск, и потом ещё один во время восстановления массива ?

С языка снял.

Окей, но по какой причине он пищит ? Разве 6-й рейд считается деградировавшим без одного диска ?

Да, у меня, например.

Он теоретически надёжнее. Надёжнее ли он в реальности - пытаюсь узнать тут.

Надёжность - функция вероятности. raid-6 надёжнее raid-5, вне зависимости от чьего-либо мнения и опыта.

А с чего ему не быть деградировавшим то?

Прекрасная статья

Писаки ламера какого-то. Единственная претензия к RAID5 у него - это скорость восстановления ~сутки. И из-за этого он типа must die. Только паренёк запамятовал привести скорость восстановления «конкурентов». Так, для справки. И свою конфигурацию заодно.

Что-то от меня ускользает смысл этого абзаца. Поясни, пожалуйста?

А что тут не понятно. Сейчас мода на контроллеры с двумя SSF8087 разъёмами. Через которые ты более 8 SATA дисков не подключишь. А SAS дисков, через экспандер - дофига.

хоть раз не поднимался RAID5 по причине того, что отказал один и диск, и потом ещё один во время восстановления массива ?

Больше чем 1 раз. Аналогично с рейд1,10,6,50,60. Вероятность одновременного выхода 2,3,n-ного диска в массиве из строя - ниочем. Вероятность, что это это случится именно с тобой - 50% - либо случится, либо нет. И чем дольше ты с этим работаешь, тем вероятность этого события ближе к 100%. Я заметил только одну закономерность - чем больше дисков напихано в ОДИН массив - тем больше дисков в ОДНОМ массиве могут выйти из строя.

А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

А что её предоставлять? Ты сам(или инженер вендора/партнёра) оформляешь кейс на замену диска или чего там ещё. А конфигурация у них с момента покупки имеется.

1) Когда вылетает один диск - он пищит ? Интересует именно пищание, не рассылка e-mail, алерты и пр.

ты издеваешься? Может хоть контроллер скажешь?

Ага и они ее скрупулезно учитывают. А еще обзванивают и спрашивают «а вы не меняли ли там чего», а то вдруг у нас статистика неверная будет. Но тогда, чтоб уделать конкурентов, всем только в одной лучшей конфигурации продавать и надо, чтобы точно у конечного покупателя не дайбог чего. Не ? :)

Зачем тебе самому что-то менять, если оно на суппорте и всё бесплатно? Статистика ведётся автоматом.

всем только в одной лучшей конфигурации продавать и надо

А какие тебе конфигурации надо от схд? Основные характеристики - кол-во кэша, кол-во дисков и их тип и кол-во бэк- и фронт-энд портов, остальное не ваше дело.

Не, если со стороны «оно на суппорте» то да, картина такая. Статистика вообще молодец, что автоматом сама по себе ведется. Очень удобно, что ее вести никому не надо, она все сама. Васю, кстати Майло звали, емнип, но не суть.

Так ты и не купишь новую схд без суппорта.

Статистика вообще молодец, что автоматом сама по себе ведется.

В нормальных фирмах всегда ведётся учёт сколько чего и куда ушло на каждом этапе работы с клиентом и вытащить оттуда данные для статистики не составляет труда. Конечным анализом, естественно, люди занимаются.

Конечным анализом, естественно, люди занимаются.

А то - в несколько стран несколько вагонов/самолетов отгрузил, для следующей партии собрал статистику - на сколько там 5х рейдов больше чем 6х упало.

У вас, на вашей практике хоть раз не поднимался RAID5 по причине того, что отказал один и диск, и потом ещё один во время восстановления массива?

Всякое бывало. Один раз на массиве SUN StorEdge 3510FC одновременно умерли:
- 2 диска (да, был RAID-5)
- 1 контроллер (второй работал)
Данные не спасли, но они и особо никому и не были нужны =)

А часто предоставляешь своему вендору информацию о своих конфигурациях хранилищ и статистику замены дисков ?

У них все это и так есть. Массив сам звонит вендору при отказе диска и вызывает инженера для замены.
Любые изменения в конфигурации сначала утверждаются вендором. А конечному потребителю запрещено даже открывать дверцу шкафа.

Через экспандер разве sata подключить нельзя? :-)

Да, осенью потерялась инфа на некритичном сервере на raid6. При ребилде последовательно вылетели ещё 2 диска.

А, оно на полной поддержке, тогда да. Мы также ставим. Статистика «на местах» разумеется есть. Я под вендором производителя имел в виду, а не местную поддержку. Но причем тут оно, это уже аутсорс. Тут вопрос с самостоятельным ковырянием сервера был, где админ еще хозяин своему железу. А массив таки прямо звонит или все-таки по инету шлет ?