Что работает быстрее, raid10 (0+1), или же raid10 (1+0) ?

помоему разницы нет

Однозначно утверждать бы не стал, так как разница большая. Вот тут например тоже обсуждалось: http://forum.xard.ru/m_39283/printable.htm

Никто особо не использует зеркало страйпов т.к. при смерти одного винта половина массива (RAID0) сразу становится бесполезной. И при ребилде дикий I/O пойдёт сразу на весь массив, а не только сосендний винт в зеркале.

Плюс, если посчитать вероятность смерти за короткое время сразу двух винтов, приводящую к смерти массива, то в зеркале страйпов это будет что-то вроде 1/2 независимо от кол-ва винтов, а в страйпе зеркал - 2/N. Вероятности прикинул на глазок, но общий принцип такой.

Никто особо не использует зеркало страйпов т.к. при смерти одного винта половина массива (RAID0) сразу становится бесполезной. И при ребилде дикий I/O пойдёт сразу на весь массив, а не только сосендний винт в зеркале.

4.2

Я так делал. Все нормально ребилдится.

Плюс, если посчитать вероятность смерти за короткое время сразу двух винтов, приводящую к смерти массива, то в зеркале страйпов это будет что-то вроде 1/2 независимо от кол-ва винтов, а в страйпе зеркал - 2/N. Вероятности прикинул на глазок, но общий принцип такой.

Что это за расчеты? У тебя есть 4 винта, которые рандомно могут сдохнуть. В обоих случаях, сдохнуть может одна из пар с одинаковой вероятностью. И мне вот интересно как ты будешь восстанавливать одну пару зеркал из страйпа ?

В случае же зеркало страйпов - даже если выйдет из строя любая пара - восстановление будет, т.к. это зеркало. И вообще для критичных случаев к сбоям выбирают, что-то более надежное. Ваш КО.

4.2

Нет, он прав. В случае выходя из строя половины зеркала ты сразу теряешь половину IOPS этого зеркала. А запустившийся ребилд даcт дополнительную нагрузку. В случае если ты и так выжимал из дисков всё что можно, получишь дикие тормоза.

В случае если ты и так выжимал из дисков всё что можно, получишь дикие тормоза.

Хорошо. Высокая нагрузка, все дела, вылетело два прозеркаленных диска в составе страйпа, аля ровно половина. Какие действия? :)

Что это за расчеты? У тебя есть 4 винта, которые рандомно могут сдохнуть. В обоих случаях, сдохнуть может одна из пар с одинаковой вероятностью.

Нет, ты снова не прав. Возьмём те же 4 винта. В случае зеркала страйпов, после выхода из строя одного винта, для гибели всего рейда должен отказать любой из из ДВУХ винтов другой половины зеркала. Да, в одном из этих случаев ТЫ ВРУЧНУЮ сможешь восстановить рейд, но вот поймёт ли это контроллер рейда? Для него гибель винта из страйпа - гибель страйпа. Погибли оба страйпа - погибло зеркало, и для контроллера может быть не важно что в разных частях зеркала погибли разные части страйпа и из них ТЫ сможешь собрать живой страйп.

В случае страйпа зеркал, после выхода из строя одного винта, для гибели рейда должен отказать ОДИН, который был в одном зеркале с погибшим. Это вдвое менее вероятно.

вылетело два прозеркаленных диска в составе страйпа

Моя не может это распарсить. Предполагаю что речь идёт о страйпе зеркал, в котором погибло по одному винту в каждом из зеркал. Да, ты получишь то же самое двукратное падение производительности, но для этого тебе потребовалось потерять ДВА винта, а не один, как в случае с зеркалом страйпов.

А если бы ты потерял не два диска, а один, то и двукратное падение IOPS'ов наблюдалось бы только на одном зеркале, а второе продолжало работать с прежней скоростью

Нет, ты снова не прав. Возьмём те же 4 винта. В случае зеркала страйпов, после выхода из строя одного винта, для гибели всего рейда должен отказать любой из из ДВУХ винтов другой половины зеркала.

Ниже указаны ситуации для обоих типов. Проверь как-нибудь «живучесть».

  +--X--+-----+
--+           +---
  +--X--+-----+

  +--X--+  +-----+
--+     +--+     +--
  +--X--+  +-----+

Ты забыл

  +--X--+-----+
--+           +---
  +-----+--X--+

А что 4 винта то? Возьми, к примеру, сразу 8. Чем больше винтов, тем более явно проявляется преимущество одной топологии над другой.

В случае гибели одного винта в страйпе зеркал для полной смерти массива ты должен выбить в лотерею 1/7, т.к. второй сдохший винт должен попасть именно в ту пару, где один уже умер.

А если это зеркало страйпов, то при гибели первого винта для краха массива должен умереть ЛЮБОЙ винт из соседнего страйпа. Это уже 4/7 вероятность.

Разница, по-моему, на лицо.

По ребилду: Для ребилда сдохшего винта в страйпе зеркал IO идёт только на соседа. При этом скорость всего массива при ребилде практически не меняется.

При крахе винта в зеркале страйпов весь страйп ЦЕЛИКОМ помечается как дохлый и подлежит ребилду из соседнего страйпа. Тем самым мы имеем много геморроя.

Поэтому в энтерпрайзных контроллерах (LSI и Adaptec - точно) обычно нет возможности создать зеркало страйпов т.к. это не имеет никакого смысла ВООБЩЕ.

А что 4 винта то? Возьми, к примеру, сразу 8.

В случае гибели одного винта в страйпе зеркал для полной смерти массива ты должен выбить в лотерею 1/7, т.к. второй сдохший винт должен попасть именно в ту пару, где один уже умер.

Во-первых, класно вы считаете вероятности. 1 из 8 уже умер, осталось 7, вероятность 1/6. Во-вторых, вы сами попробуйте убить весь страйп зеркала, да посмотреть, что будет. А будет просто - меняете диски и все рековерится. В-третьих, в случае смерти целого зеркала в цепочки страйпов навернется весь рейд и вы ничего и никогда не восстановите.

В-четвертых, вероятность смерти дисков, где бы он не находился - везде одинаковая. Или вы даете пруфы распределения нагрузки дисков или не даете и считаем, что все диски одинаково нагружены. Угу.

Я что-то уже перестал понимать что-либо из ваших сообщений.

Вероятности я нормально считаю. Дисков осталось 7, поэтому и 1/7. Откуда тут 6 - непонятно.

Зачем мне убивать весь страйп? Мне достаточно чтобы из каждого из двух страйпов умерло хотя-бы по одному диску и массиву абзац. А т.к. страйпов - два, то вероятность смерти диска в еще живой половине зеркала близка к 1/2. Или с этим ты тоже будешь спорить? :) Даже если не приплетать теорвер, то это, по-моему, и так понятно. Если у тебя есть некая область поделенная на две части, то попасть в одну из них гораздо проще, чем попасть в отдельную часть области, если она поделена не 4-6-8 частей.

Вероятность смерти одинаковая конечно, только причем тут это? В данном случае вероятность повышается за счет повышения количества «опасных» дисков, смерть которых приведёт к краху массива. В случае страйпа зеркал это количество всегда равно 1, а в случае зеркала страйпов оно N/2 т.е. шанс поломать массив растёт с количеством дисков.

Вероятность смерти одинаковая конечно, только причем тут это? В данном случае вероятность повышается за счет повышения количества «опасных» дисков

Вы выдумали какие-то «опасные» диски, не знаете теорвер и еще пытаетесь оправдать свое превосходство. Нету никаких «опасных» дисков, если вероятность одинаковая.

Далее, об энтерпрайсе, вам видимо не знакомы решения RAID5, hotspair и шкафы дисков по 100 дисков, которые все делают сами.

Спор окончен.

Во-первых, класно вы считаете вероятности. 1 из 8 уже умер, осталось 7, вероятность 1/6

Что? O_o Выход из строя винтов - это независимые события. Вероятность выходя из строя каждого фиксирована, пусть P1. Вероятность одновременного выходя из строя двух из них - P1 ^ 2

Во-вторых, вы сами попробуйте убить весь страйп зеркала, да посмотреть, что будет.

Вы не поверите...

будет просто - меняете диски и все рековерится.

Этот процесс далеко не мгновенный, даже на маленьких и быстрых дисках.

В-четвертых, вероятность смерти дисков, где бы он не находился - везде одинаковая. Или вы даете пруфы распределения нагрузки дисков или не даете и считаем, что все диски одинаково нагружены. Угу.

Уважаемый, вы надеюсь помните как складываются вероятности для независимых событий?

Вы выдумали какие-то «опасные» диски, не знаете теорвер и еще пытаетесь оправдать свое превосходство. Нету никаких «опасных» дисков, если вероятность одинаковая.

Вы до сих пор не поняли, что от вероятности отказа одного диска ( фиксированной! ) мы давно перешли к вероятности отказа диска в группе ( считается исходя из размера группы и вероятности отказа одного диска ).

И чем больше группа - тем выше вероятность отказа хотя бы одного диска в группе. При фиксированной вероятности выходя из строя одного диска.

Под «опасными» дисками blind_oracle подразумевал не «диски с большей вероятность отказа» как вы похоже решили, а диски, отказ которых приведёт к отказу рейда.

Далее, об энтерпрайсе, вам видимо не знакомы решения RAID5, hotspair и шкафы дисков по 100 дисков, которые все делают сами

Вы не поверите. Кстати, я работаю в т.ч. с массивом на 120 дисков - у меня длиннее.

А вот ваши знания о теории вероятностей похоже слегка запылились.

Уважаемый, вы надеюсь помните как складываются вероятности для независимых событий?

Что за идиотский спор? Независимые события в короткий промежуток времени. Что это за короткий промежуток времени? 10 дней выходных после НГ в него попадает?

Ладно, можете не отвечать. Делаем расчет падения двух дисков одновременно и независимо для 8 дисков. Для одного диска 1 к 7, для обоих сразу 1/7 * 1/7 = 1/49 или я не прав?

Да, действительно, окончен. Производители RAID-контроллеров и хранилищ - дураки, поэтому не используют настолько мощную топологию, как зеркало страйпов :)

И да, мне конечно не знакомо всё это, я тут так, примус починяю за зарплату...

«hotspair» => «Hot Spare» :D

Производители RAID-контроллеров и хранилищ - дураки, поэтому не используют настолько мощную топологию, как зеркало страйпов

Все зависит от задачи. Я указал в чем проблема страйпа из зеркал, более того, это известная «проблема». И о надежности в RAID10 вообще нет смысла заикаться, т.к. он не является by design надежным решением. ТС спросил, что быстрее и получил линк, где люди все расписали, ни про нагрузку, ни про надежность он не спрашивал. Пусть теперь думает, что делать сам :)

Хватить флудить, умоляю :)

«hotspair» => «Hot Spare» :D

Спасибо, что поправил.

Так мы до сих пор не услышали - на каких задачах зеркало страйпов лучше? И почему раз такие задачи существуют, то эта топология не реализована вендорами? При том, что всякие RAID-50, 60 имеются повсеместно.

И да, какая топология является надежной by-design? RAID-6? В каком-то смысле - да, но она проигрывает по IOPS RAID-10 в полтора-два раза при равном кол-ве дисков.

Но тут тоже свои нюансы, т.к. RAID-6 может выдержать смерть только двух дисков, зато любых, а RAID-10 при удачном стечении вероятностей - хоть половины всего массива :)

Большое спасибо вам, gh0stwizard, blind_oracle, router.

Действительно, в самом начале, в теме топика я не спрашивал конкретно о «надежности» решения raid10, не важно в какой в данном случае конфигурации. А интересовался именно скоростью. Потом правда, добавил к своему топику сообщение с сылкой на форум, где данная тема обсуждалась с точки зрения как скорости, так и отчасти надежности.

Но раз уж разговор и дискуссия перешли в плоскость других параметров решения, то я был не против почитать мнения на сей счет. Очень полезно и интересно. И совсем необязательно попрекать друг друга в «некомпетентности». Не бывает абсолютно компетентных, тем более одновременно во всех вопросах людей)

Спасибо вам.

RAID-6? В каком-то смысле - да, но она проигрывает по IOPS RAID-10 в полтора-два раза при равном кол-ве дисков.

При равном кол-ве дисков в массиве raid-6 будет почти в два раза больше места, чем в raid-10.

RAID-10 при удачном стечении вероятностей - хоть половины всего массива

При удачном стечении обстоятельств избыточные массивы вообще не нужны.

Так мы до сих пор не услышали - на каких задачах зеркало страйпов лучше?

Там, где можно гулять 10 дней после НГ и не парится, что два диска вылетят. Еще раз, попробуйте «поломать» 0+1 и убедится насколько это проблематично. А теперь сломайте 1+0 и получить н-часов простоя, пока вы будете все заново собирать, копировать данные из бэкапа и прочее.

И да, какая топология является надежной by-design? RAID-6?

Все зависит от задач и финансов. Тут вроде все расписано: http://ru.wikipedia.org/wiki/Raid или короче raid-61

Чтобы поломать 0+1 нужно убить по 1 диску в каждой половине зеркала. Что тут сложного то?

61? Вы такой хоть где-то в продакшене видели?

Хм, вот тут объяснение: http://www.thegeekstuff.com/2011/10/raid10-vs-raid01/ И, возможно, я заблуждался...

61? Вы такой хоть где-то в продакшене видели?

Нет, но вы же спрашиваете самое надежное, вот оно :)