Software RAID vs Hardware RAID

По ссылке в новости от 2006 года вообще говорится, что программный рейд5 шустрее железных решений. Т.е. как получается, hardware raid R.I.P?

Не буду вдаваться в бенчмаркинг и прочую членометрию, просто скажу две важные вещи:
1. fakeraid (какбэ аппаратный, но требует дров, типа LSI'евского металлолома) говно и R.I.P.
2. RAID5 говно и R.I.P., use RAID6.

Не читайте желтую прессу.
Программный RAID - домашнее решение. Причем за RAID5 надо бить по рукам. За RAID5 из 3-х дисков выгонять их профессии. За программный RAID5 из 3-х HDD еще увольнять того кто взял на работу горе админа.

Программный RAID - домашнее решение. Причем за RAID5 надо бить по рукам. За RAID5 из 3-х дисков выгонять их профессии. За программный RAID5 из 3-х HDD еще увольнять того кто взял на работу горе админа.

А за подобные сообщения надо банить и отправлять обратно в детсад.

И чем так плох RAID5 по сравнению с RAID6?

Плюс RAID6 — если из строя выйдут два диска из трёх, то данные останутся. Минус — скорость записи офигенно снижена. И нафига оно нужно? Что, очень вероятен выход из строя двух дисков одновременно? Уж проще в лотерею миллион выиграть.

>если из строя выйдут два диска из трёх, то данные останутся ага, те что были на оставшемся диске....

>И чем так плох RAID5 по сравнению с RAID6?

Регулярно читаю матерные отзывы, что вышел из строя один диск, и рейду5 пришел капец. Может, тогда сразу нулевой? Надежность та же, а скорость гораааздо выше!

Если есть только три диска — имхо правильнее сделать RAID1 with hotspare.

> Регулярно читаю матерные отзывы, что вышел из строя один диск, и рейду5 пришел капец.

А ссылочки можно, просто ради интереса.

>А ссылочки можно, просто ради интереса.

IRL ссылок нет, к сожалению.

>А ссылочки можно, просто ради интереса.

Впрочем, даже поиск по родному лору дает весьма показательный результат
http://www.linux.org.ru/view-message.jsp?msgid=3833695

Честно говоря, не убедительно -- просто домыслы человека, который, ИМХО не очень разбирается, какие гарантии предоставляет RAID5

Человек как раз про железный рейд говорил. При восстановлении в программном рейде всё ок, там всё лучше продумано.

На самом деле, было бы 4 харда — использовал бы 1+0. Но в 6 вообще смысла не вижу.

>Честно говоря, не убедительно -- просто домыслы человека, который, ИМХО не очень разбирается, какие гарантии предоставляет RAID5

Ну, для того, кто в жизни с этим не сталкивался, может звучать неубедительно. А для меня это лишь теоретическое подтверждение практики.

Впрочем, я не ставлю целью кого-то в чем-то убедить. Хотите использовать пятый рейд — пожалуйста. Как говорится, ССЗБ.

Я вообще не понимаю, как вы бы на моём месте использовали рейд 6. Для него 5 дисков надо минимум. У меня их 3 по 1,5 ТБ — в моём случае это и так нереальный оверкилл.

Кстати, как предлагаете разбить? Пока думаю сделать вот так:

PART /boot ext2 1G
PART lvm   vg0  all

LV   vg0   swap swap swap 15G
LV   vg0   tmp  /tmp ext3 5G
LV   vg0   var  /var ext3 15G
LV   vg0   usr  /usr ext3 15G
LV   vg0   root /    ext3 5G

Далее для каждого контейнера openvz будет создаваться свой раздел.

На хост-системе ничего, кроме openvz, sshd и нескольких скриптов в кроне для проверки состояния и работы с виртуалками не будет.

Далее для каждого контейнера openvz будет создаваться свой раздел.

Больше всего интересует эта часть. Надо ли так делать, или хватит одного отдельного раздела для /var/lib/vz?

>Я вообще не понимаю, как вы бы на моём месте использовали рейд 6.

Несколькими постами выше писал :)
RAID1 + hotspare.

>Больше всего интересует эта часть. Надо ли так делать, или хватит одного отдельного раздела для /var/lib/vz?

Обычно для свопа, виртуалок, некоторых видов БД и прочих задач, активно использующих диск, используются отдельные разделы. Это дает определенный выигрыш по быстродействию, т.к. исчезает возможное узкое место — ФС хоста.

Но, разумеется, если быстродействие не критично, никто не обязывает так делать.

Упустил... Не знаю, что это. Где можно про это почитать?

Уточню, что со спецификой openvz я незнаком (для меня виртуалки — это прежде всего xen).

>Упустил... Не знаю, что это. Где можно про это почитать?

Ээ... О чем речь?

Быстродействие критично, конечно. Видимо, помимо перечисленного, сделаю один большой раздел для виртуалок. Под те, у которых io будет повышен (у виртуалки с мусклем, например) выделю отдельные разделы.

о RAID1+hostspare

>о RAID1+hostspare

Некоторые модели аппаратного рейда имеют функцию Hot Spare — когда один из винчестеров в массиве вылетает, они автоматически подхватывают чистый винт (специально припасенных на этот случай) и начинают восстановление.

В случае с программным рейдом hotspare — это просто чистый винт, находящийся в резерве. Впрочем, сделать аналогичный аппаратному сервис никто не мешает.

Ясно. Но не катит. Это даст небольшой проигрыш в производительности, а для большого количество виртуалок io критичен.

>Это даст небольшой проигрыш в производительности

Пардон, не понял. Где проигрыш?

Как раз рейд1 по сравнению с пятым даст выигрыш по скорости. Емнип, скорость записи в рейд1 практически такая же, как и для физического винчестера, а в пятый — гораздо ниже, так как данные обрабатываются довольно сложным алгоритмом.
Скорость же чтения с рейд1 вообще такая же, как и с нулевого.

Если я правильно понимаю, то и в том, и в другом случае, чтение идёт параллельно со всех дисков. В случае RAID1 — с двух, в случае RAID5 — с трёх. Соответственно, во втором случае чтение — на треть быстрее. А запись в обоих случаях должна быть примерно на одном уровне, т.к. хоть в случае RAID5 данные и обрабатываются сложным алгоритмом, топовому CPU раз плюнуть.

PS: http://www.onix.kiev.ua/images/news/ML170LP_3.gif (первый попавшийся бенчмарк)

Почитайте же документацию уже.... И следите за современным железом. Во первых не меряйте теплое с мягким. У дискового массива есть 2 показателя производительности: IOPS(количество операций ввода вывода в единицу времени) и скорость линейного чтения/записи. При этом эти 2 параметра обратно пропорциональны. Далее. Учитывайте с какими блоками данных вы будете работать. Если у вас будет постоянная нагрузка мелкими блоками(типично для баз данных) то вам критично именно IOPS, а не линейная скорость/чтения записи. Поэтому для баз данных сейчас в основном юзают RAID10. При этом железный контроллер желателен + BBU(модуль батарейный + RAM / или в более современной интерпретации флэш с конденсаторами большой емкости) которые умеют при внезапном отключении питания, например, сохранить данные которые в кэше и не успели сброситься на веник. Это дополнительная гарантия что вы не потеряете данные. Если вам надо ворочать большие файлы или читать/писать большими блоками. Супер.. казалось бы нулевой рэйд самое то... но отсутствие избыточности говорт о том что хранить на нем нельзя ничего. RAID5 немногим лучше... при вылете одного веника - весь массив в статусе критический... скорость падает на 80/90% и вероятность ошибки при ребилде - ненулевая. Современные контроллеры с RAID6 для таких вещей лучший выбор... нет.. ну можно и 10-ый рэйд... но вот экономически невыгодно....

Далее: >Скорость же чтения с рейд1 вообще такая же, как и с нулевого. Ошибка. Контроллер может не уметь алгоритма поочередного чтения. При этом зеркало можно из 2-х винтов делать. А страйп на 5 HDD порвет по скорости в клочья.

>Емнип, скорость записи в рейд1 практически такая же, как и для >физического винчестера, а в пятый — гораздо ниже Это все ваши фантазии :) Чтобы долго не объяснять могу привести цифры из коробки по FC подключенной к серваку с 9-ю хардами в пятом рэйде + хот спэйр. Будете удивлены :)

Но мне-то что выбрать? Если 3 диска, контроллера нету. Выбор — RAID 1 из двух дисков (+ запаска) или RAID 5 из всех. Важен IOPS.

>RAID5 немногим лучше... при вылете одного веника - весь массив в статусе критический... скорость падает на 80/90% и вероятность ошибки при ребилде - ненулевая.

Согласен.

В остальном наши разногласия обусловлены «средой обитания». В той области, где я работаю, априорно предполагается, что любой топовый процессор будет загружен по самое не хочу, и поэтому легко может стать узким местом при чтении и записи больших объемов данных.

Возможно, для вас более привычна ситуация, когда проц бьет баклуши и при этом способен обрабатывать нужные объемы данных. Тогда да, шестой рейд с большим количеством винтов способен дать большой выигрыш в производительности. Но лично для меня такой расклад является сферическим конем в вакууме.

>Ошибка. Контроллер может не уметь алгоритма поочередного чтения.

Я вижу, у вас уже есть опыт общения с дешевыми нонеймовскими контроллерами :)

>FC подключенной к серваку с 9-ю хардами в пятом рэйде

Эээ... а у нас за такое кастрир^Wувольняют. Даже если с хотспейром.

>Но мне-то что выбрать? Если 3 диска, контроллера нету. Выбор — RAID 1 из двух дисков (+ запаска) или RAID 5 из всех. Важен IOPS.

По IOPS может, пятерка немного и выиграет, но вот по надежности... Пятый рейд, да еще без хотспейра...

Ну ладно, не буду настаивать. Как я уже говорил, быть ССЗБ — право каждого. Особенно если этот каждый не ваш коллега или начальник :)

>А за подобные сообщения надо банить и отправлять обратно в детсад.

Хорошо сказал :)

Скокаж можно эту тему поднимать. Юзай софтварный, будет тебе счастье. Я пока что не видел ни одного аппаратного рейда до тыщи баксов(а выше тыщи и не смотрел) чтобы он порвал софтварный. Да и откуда маленькой железке с тем же линуксом на борту бодаться с настолькой системой? Рейды софтварные с 8гигами кэша видели? А вот с софтварным рейдом легко. Ну и про "заточку" аппаратного решения тоже всё фигня. Что он там затачивать собрались? Обсчёт XOR-ов? Вот данные с селерона моего ноута: xor: using function: pIII_sse (4449.000 MB/sec)

А уж про побочные эффекты аппаратных рейдов типа несовместимости формата метаданных(хрен ты потом эти винты в другой рейд воткнёшь или данные вытащишь если железка сдохнет, придётся такую же покупать), запредельные цены на BBU, проприетарный софт управления(часто глючит и запросто может не быть версии для свежих ядер итп. Покажите мне чем рулить hp-шными рейдами, например, под 64-битной свежей ОС).

Лучше на сэкономленные деньги купи побольше оперативы и бесперебойник и будет тебе счастье.

Так что, имхо, или ставить софтварный или покупать отдельный дорогой сторадж.

PS фанатам хардорейдов всегда предлагал померяться бенчмарками, только никто не рискнул :). Тест простой: bonnie++.

Да, пятый рейд щас редко делают. Ибо оно очень большой тормоз. В твоём случае просто купи ещё один хард и сделай raid10

> Есть 3 харда по 1500 гб, объеденены в один массив Software RAID5. Железный рейд от 3ware стоит 25 евро в месяц, у них вообще есть какие-нибудь особые преимущества перед софтовым рейдом сегодня?

Не жрут процессорное время. BBU позволит юзать кэш - будет по шустрее :)

> Проц Intel® Core™ i7-975, так что, я так понимаю, использование рейдом процессорного времени будет пренебрежительно мало...

если там не БД или что-то еще, требующее частого обращения к диску, то не заметишь.

>Эээ... а у нас за такое кастрир^Wувольняют. Даже если с хотспейром.
Не волнуйтесь. Это тестовая коробка :) Опыт есть :)

>Я вижу, у вас уже есть опыт общения с дешевыми нонеймовскими контроллерами :)
Есть к сожалению. Со всяким пришлось столкнуться :)
Почитайте топики про системы хранения. Вы где нибудь видели нормальный вопрос по теме ??? Нет. В основном "потсаны у миня мега рэйд 0 развалился помогите вынять дорогое сердцу хоум видео !!!"
На 90% Народ пока не понимает ценность и стоимость информации :)

> Программный RAID - домашнее решение.

Solstice disk suite, ZFS - домашние решения? Удивительно даже!

> RAID1 + hotspare.

На трех жестких дисках? :-)

>На трех жестких дисках? :-)

Да.

За RAID5 на 3х дисках тоже в приличном обществе подвергают обструкции :) Даже с hotspare.

P.S. Если скорость не имеет значения, и важна 100% сохранность данных, тогда да.

>За RAID5 на 3х дисках тоже в приличном обществе подвергают обструкции :) Даже с hotspare.

Я вообще-то про ПЕРВЫЙ рейд говорил. Два винта в зеркале, и третий в резерве. И со скоростью проблем никаких.

>важна 100% сохранность данных, тогда да.

Если речь идет о пятом рейде, не могу согласиться.

>У меня их 3 по 1,5 ТБ — в моём случае это и так нереальный оверкилл.

Тогда лучше RAID1 + hotspare. Про 80-90% падение скорости на деградировавшем RAID5 из трех дисков уже написали выше.

поздно :)

немцы быстрые, за полчаса заменят хард, если что

плюс у меня в жизни ни одного умершего харда не было, так что будет считать, что я удачлив

Просто жисть у тебя еще тока начинается видимо.

>Просто жисть у тебя еще тока начинается видимо.

Или подходит к концу. Ж)))))