Я так понимаю тут рули не цена и скорость чтения а надежность, раз раид надумал делать.

Намного удобнее работать с пачкой больших чем с кучей мелких винтов.

Согласен.

> надежность

Да. Т.е. я правильно понял, что чем больше дисков в таком массиве и большего объёма, то тем надёжней?

Собери зеркало из RAID6 и будет тебе счастье..

надежность определяется избыточностью, в случае рэйд 6 избыточны 2 диска, следовательно чем общее количество дисков меньше, тем надежнее, но объем страдает.
А про перфоманс лучше и не думайте используя raid6

7 дисков по 1Тб развеют все сомнения

если собрать из них raid 10 (6 дисков в массиве + 1 hot spare) то получится очень быстро и очень надёжно. Альтернативы нет.

>надежность определяется избыточностью
надёжность определяется по формуле

> если собрать из них raid 10 (6 дисков в массиве + 1 hot spare) то получится очень быстро и очень надёжно. Альтернативы нет.

Точно? RAID-6 переживет отказ двух любых дисков, в то время как RAID 1+0 - отказ любых двух может и не пережить.

Не получится. В статье на Хабре писали, что лучше иметь RAID-5, чем RAID-10: http://habrahabr.ru/blogs/hardware/78348/

А ты её читал? «Вот так легко и не замысловато смысл статьи изменился если и не на противоположный, то уж точно кардинально.»

Статьи статьями а мой опыт эксплуатации говорит о том что raid10 сильно лучше raid5 потому что тот кладёт намертво систему при восстановлении т.к. бешено дёргает все харды.

Да, так и есть. Если хардов много (больше 10), то рейд6 имеет смысл т.к. шанс выпадения второго винта в процессе восстановления первого резко увеличивается.
У нас на сервере 24 x 1Tb винта в RAID6, контроллер Adaptec 52445, скорости чтения и записи конечно заоблачные, 500-700мбайт\сек линейно, а то и больше. Это файлопомойка. Если делать что-то высоконагруженное на ввод-вывод (СУБД) да еще и с малым кол-вом винтов, то только RAID1+0, пробовал 4х250Гб рейд5 в свое время - ужас какой-то был.

Чтобы не клал, нужно держать всегда резервный диск (hot spare).

Цепочка из RAID-10 слишком дорогая по цене и избыточна.

пробовал 4х250Гб рейд5 в свое время - ужас какой-то был.

Неудивительно — шло чтение размазанных блоков данных со всех оставшихся в работе винтов. Если было три диска изначально, то работали на восстановление только 2 винта, причём нагрузка была бы равномерной и минимальной за счёт разнесения блоков данных и их блочной XOR-составляющей точно по носителям.

Поэтому из шести дисков нужно делать RAID-50 (3 диска в каждом массиве) и один диск Hot Spare для всей группы.

как hotspare поможет избежать процедуры синхронизации?

Цепочка из RAID-10 слишком дорогая по цене

ну неправда, не настолько дорого. +-10к руб от цены проекта это несерьёзно, я считаю. Тут ещё всё определяется требованиями к проекту, конечно.

и избыточна.

эта избыточность и даёт скорость и надёжность.

> надёжность определяется по формуле

Что за формула?

>Что за формула?
она есть в методичках по теории надёжности. Я только помню, что начиная с какого-то количества дублированных элементов надёжность начинает уменьшаться.

>как hotspare поможет избежать процедуры синхронизации?

HotSpare будет синхронизироваться только в том массиве, который лишился диска, почти не нагружая второй (целый) RAID-5. Он поможет избежать слишком большого времени на синхронизацию, так как проблема локализуется одним массивом, а не распространяется на всю группу.

К тому же, в случае использования ZFS, пул RAID-50+HotSpare может легко расширятся простым добавлением устройств верхнего уровня. И это могут быть устройства в.у., составленные из носителей уже большего объёма — то есть хранилище будет расти при росте потребностей в объёмах.

Я только помню, что начиная с какого-то количества дублированных элементов надёжность начинает уменьшаться.

O_o это как? Т.е. рейд 1 из двух дисков более надёжен чем raid1 из 10дисков? :)

> O_o это как? Т.е. рейд 1 из двух дисков более надёжен чем raid1 из 10дисков? :)

Я думаю, что имелось в виду, что чем больше элементов в системе, то тем выше вероятность того, что какой-то элемент выйдет из строя.

ну да, это так. А как это связано с общей надёжностью? Ну пусть у нас 1000 хардов. Вероятность что прям щас умрёт десяток-другой из них высокая. Но системе на них будет пофиг.

Короче, связи с надёжностью всей системы я пока не вижу.

не понимаю. ты предлагаешь второй массив держать в качестве запасного?

Мы щас обсуждаем одиночный массив.

>не понимаю. ты предлагаешь второй массив держать в качестве запасного?

Нет. Я предлагаю сделать два RAID-5 по 3 диска в каждом, объединённых в группу RAID-50 (страйп-массив из двух RAID-5). Ещё один диск в качестве горячего резерва (Hot Spare).

Итого: 6 дисков всегда в работе, 1 диск в горячем резерве.

Для такого 3ТБ хранилища нужно 7 дисков по 750ГБ.

а не круче ли raid6 какой-нить?

Ну и raid10+hotspare это всего на два диска больше.

>а не круче ли raid6 какой-нить?

RAID-6, конечно, круче, но у него имеются ПЕРМАНЕНТНЫЕ накладные расходы на запись данных по сравнению со связкой RAID-5 и независимого Hot Spare, который активируется на запись только при аварии.

Ну и raid10+hotspare это всего на два диска больше.

Для 3ТБ хранилища расклад такой
RAID-10 + Hot Spare: всего 5 дисков по 1,5ТБ вынь да положь, по-любому.
RAID-5 + Hot Spare: всего 4 диска по 1,5ТБ, приемлемая скорость.
RAID-50 + Hot Spare: всего 7 дисков по 750ГБ, отличная скорость чтения/записи.
RAID-6: всего 6 дисков по 750ГБ, постоянные тормоза на запись.

> Нет. Я предлагаю сделать два RAID-5 по 3 диска в каждом, объединённых в группу RAID-50 (страйп-массив из двух RAID-5).

В результате система может не пережить одновременный отказ двух любых дисков (ну или отказ одного и ошибки по чтению на втором). При современных больших объемах можно и не успеть восстановить избыточность с использованием HotSpare. Так что если нужна надежность - то лучше RAID-6 или RAID-Z2, в случае ZFS.

Почитал теорию надёжности - один фиг что так, что так - если хоть один диск деградирует придётся сервис тормазить и восстанавливать массив, а разница в вероятности отказа мала. Во общем принял волевое решение - семь дисков 640 гигов. Так хоть производительнее.

С раскладом, пожалуй, соглашусь. А что юзать я для себя давно решил :)

Кстати, разницу в деньгах считал? Между raid10 и raid50 получилось 1500руб разницы если брать wd green. Вообще не деньги даже если десяток серваков брать. цены смотрел в фцентре.

Сервак нужен один, так что на счёт денег особо не парился. =)

если брать wd green

Я бы брал серию WD Blue, так как Green — это отбраковка менее качественных из Blue.

> Я бы брал серию WD Blue, так как Green — это отбраковка менее качественных из Blue.

Почему тогда всё ещё нет 64 мегабайт-кэшевых в два терабайта емкостью blue? Или это отбраковка? =)

true_admin> wd green.

(S)ATA диски? Разве что делать тормозной storage для домашнего использования.

SCSI при тех же IOPS обходятся дешевле

Дело не в интерфейсе. Важнее диаметр блинов, скорость вращения шпинделя итп. Вот такое гуано работать быстро не будет: http://market.yandex.ru/model.xml?hid=91033&modelid=1035955

И как это относится к топику? raid5 на любых дисках будет тормознее чем raid10.

Разве что делать тормозной storage для домашнего использования.

nginx-ru c тобой не согласятся. И я не соглашусь.

У меня green EADS(две штуки) суперски работают уже год. Немного тормозные, но проблем с ними нет, а это главное. Зато другие харды передохли ппц. В том числе green EACS.

Не все green одинаковы полезны, короче.

true_admin> Важнее диаметр блинов, скорость вращения шпинделя итп.
Так, но SCSI <10000 rpm/s еще поискать надо, так же как и (S)ATA > 7200 rpm/s сложно найти.

http://market.yandex.ru/model.xml?hid=91033&modelid=1035955 — дык этой дряни и в продаже нет.

дык этой дряни и в продаже нет.

Нажми на ссылку «где купить» :). Сигейт часто одни и те же харды и как sata и как sas выпускает. Особенно вот это доставляет: http://market.yandex.ru/model.xml?hid=91033&modelid=6083309

Размер буфера фантастический, щас даже на бюджетные харды 32метра ставят.

true_admin> Нажми на ссылку «где купить» :)
У меня не было из-за региона по IP. Выставил Москву, увидел.

true_admin> щас даже на бюджетные харды 32метра ставят.

Хотелось бы верить, что это не просто линейный буфер (очередь), а еще и NSQ реально работает.

>Почему тогда всё ещё нет 64 мегабайт-кэшевых в два терабайта емкостью blue? Или это отбраковка? =)

Вот потому и не идут, что по параметрам надёжности не проходят на серию Blue. ;)

7200оборотов и блины диаметром блинов 3.5" никакой NCQ не спасёт.

При такой разнице(почти в два раза) в цене проще ssdшку докупить на десяток-другой гигов и с неё отдавать самые популярные данные. Или ещё хардов понатыкать и отдавать данные параллельно.

обсуждение к статье доставило :) не перевелись еще Д'Аламберы земли русской :)

Мне по этому поводу нравится такой комментарий:

А теперь немного практики. Итак — скорость чтения это хорошо, но на серьезных серверах большое значение имеет скорость записи. Скорость записи на RAID-5 составляет от 3/5 до 1/3 от скорости записи RAID0+1 Далее, имеем 3 винта. Если выходит из строя один — все нормально. Но если выходит из строя 2 — то теряем всю информацию однозначно. На RAID0+1 выходит из строя 2 — с высокой долей вероятности (в зависимости от вышедших из строя дисков или контроллера) мы будем иметь нашу информацию в сохранности!!! Далее — вы пробовали восстанавливать RAID-5 на практике? Многочасовой процесс я вам скажу! Лично для меня эти факторы и являются теми — по которым я отказываюсь от применения RAID-5. Ну разве что для домашнего сервера для фото, видеофайлов.

Кстати, однажды в raid5 из восьми дисков два харда сдохло. Восстановить данные не удалось, слава богу бэкапная тачка была.

:)))

Вот поэтому нужно делать грануляцию RAID-5 с возможностью отказа не «полтора» винта и не «два-с-четвертью», а ровно один или ровно два винчестера. Только так велика вероятность, что нагрузка будет равномерной на все (исправные) винты, и не будет пульсирующего дисбаланса потоков данных в аварийном состоянии.

Давайте определимся с матчастью.

RAID-0+1 (по два винчестера в каждом страйпе, страйпы объединённы в одно зеркало) — это не хранилище, это недоразумение.

Для сервера бэкапов держать RAID-10 (два зеркала, объединённых в страйп) — хоть и с ~2x-скоростью на чтение/запись, всё же сверхрасточительно по цене за носители.

RAID-5 по скорости удовлетворительно, по цене увеличение общих затрат на носители максимум 30%.

RAID-50 (два RAID-5, объединённых в страйп) достаточно для обеспечения отказоустойчивости без потери в скорости чтения/записи и без сколь-нибудь серьёзной выч.нагрузки в нормальном режиме.

Ты отрываешь цену носителя от цены всего сервера в целом. На фоне стоимости железки +- пара винтов не так существенны.

сервер бекапов все таки 6й райд нужно... там ведь дисков 10 будет? Какая разница -1 диск при прочих равных? а вероятность поймать ошибку в ребилде при подключении спер диска намного меньше будет.

кстате по поводу спердисков и их износа... а что нет еще возможности спер не постоянно держать включенным, а только раз в день дергать проверять что еще живой?

вроде крупные решения для бекапов хвастаются функцией включать диски по мере необходимости доступа к данным на них?

Видите ли, RAID создавались для систем высокой готовности и критичности по отвалам. Бэкап-системам, в принципе, это не нужно, основная задача бэкапов — организовать хранение и подтверждение целостности бэкапов. ВСЁ. С этим справится любая самоверифицируемая структура записи (например, ZIP-подобный формат сжатия данных с поддержкой контрольных сумм) и программа-архиватор, ведущая учёт быкапов и носителей. Что будет под этим — RAID, не RAID, лента, DVD-R(W) — это дело десятое, в основном влияющее на человеческий фактор (скорость доставания нужного бэкапа и восстановления).

> Кстати, однажды в raid5 из восьми дисков два харда сдохло. Восстановить данные не удалось, слава богу бэкапная тачка была.

Да уж - RAID-5 с нынешними большими винтами плохой выбор. А тут вот у чувака из 5 дисков в RAID-Z три сдохло:

http://bochafreebsd.livejournal.com/258805.html

Но ничего, все обошлось.

Вобщем RAID-6, RAID-Z2, RAID-Z3 или 3-way зеркало рулят!