LINUX.ORG.RU
ФорумTalks

Почему RAID 6 не популярен?

 


2

5

С одной стороны в сети полно историй про то, что RAID 5 сегодня использовать просто нельзя, т.к. при вылете одного диска и пересборке массива слишком велик шанс вылета одного из оставшихся дисков, что приведёт к повреждению массива. С RAID 6 этой проблемы нет. Т.е. этот вариант с большими объёмами предпочтительней. С другой стороны я просматриваю серверы именитых производителей вроде HP, DELL и там в характеристиках есть аппаратный RAID, вот ни разу не видел, чтобы там была поддержка RAID 6. Понятно, что можно всё софт-рейдом сделать, но хочется же аппаратно, деньги-то уплочены. Как так получается?

★★★★★
Ответ на: комментарий от crypt

Он не умеет проверять целостность данных. 2 - он перечитает (и вроде должен перезаписать). 3 - вообще пропустит. А в 3 вся мякотка.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

ближе к делу

пруфпик твоего магического танталового кондетсатора будет или нет?

или ты просто присрал первое услышанное в курилке слово и надеялся что никто не заметит твоих обосренек?

n_play
()
Ответ на: комментарий от Lordwind

да, точно. я забываю, что mdadm использует контрольные суммы только при скрабе, а не при обычном считывании.

crypt ★★★★★
()
Ответ на: комментарий от Black_Shadow

все еще жду пруфпика с танталовым кондетсатром. чтобы посмеяться над емкостью.

Производители enterprise ssd ставят суперконденсаторы специально для power loss protection.

в этом сомнений нету. даже потенциально предпологаю какая там емкость нужна. и сколько их нужно будет в параллель взять, чтобы добиться более менее нормального рабочего тока от такой чахлой связки.

Ты думаешь, что они глупее тебя, и не рассчитали ёмкость?

пусть думает тот, кто первым перднул про танталовый кондетсатор.

n_play
()
Ответ на: ближе к делу от n_play

У меня Samsung 845 DC Pro, там 15 конденсаторов. Иди утирайся, обосранчик.

Lordwind ★★★★★
()
Ответ на: комментарий от AlexVR

Если SAS или SATA, то нормально. Я же сам ничего не выдумываю - конфиг утверждается EMC или Хитачи.

bigbit ★★★★★
()
Последнее исправление: bigbit (всего исправлений: 1)
Ответ на: комментарий от iZEN

Нет, в том то и дело. На любом копеечном lsi-logic я могу на горячую выдернуть поехавший диск (или даже не поехавший, главное чтобы массив в целом выжил как то), воткнуть новый, контроллер их автоматом начнёт синхронить, а софт поверх этого всего вообще не заметит никаких проблем с i/o. Насколько я помню приключения с mdadm, там надо было руками диск выводить из массива, руками добавлять новый руками запускать синхронизацию. Смысл в таком «массиве»? Netflow на два+ диска параллельно писать? Может я конечно отстал от жизни и с софт рейдами давно всё нормально в этом плане?

yu-boot ★★★★★
()
Ответ на: комментарий от yu-boot

ZFS вроде тоже не умеет на горячую подхватывать hot spare диск взамен вышедшему из строя — надо давать явно команду подмены. Было обсуждение на этот счёт.

Поэтому актуальнее сделать один RAIDZ2, чем городить огород из hot spare и других видов RAID в пуле.

iZEN ★★★★★
()
Последнее исправление: iZEN (всего исправлений: 1)
Ответ на: комментарий от Lordwind

Ну так где хоть один случай? Мне чисто из академического интереса, был описан хоть кем-то не в виде рассчётов, а в виде практической ситуации: В RAID 5 умер один диск, заменил, массив не пересобрался, данные погибли, но остальные диски не в отказе.

atrus ★★★★★
()
Ответ на: комментарий от crypt

ну какая это авария
поднялась температура в серверной на 10 градусов и диски нагрелись до 65 при потолке в 60 по спеке.

какой спор?
этот чувак заявил о превосходстве RAID6 над RAID50 на порядки.
я испросил доказательство, ибо это утверждение - бред.
в доказательство он не смог.
утверждение что raidz2 на порядки превосходит RAID6 тоже бред.

далее, он привел пример чувака с raid5 и вылетевшими последовательно дисками, и заявил что типа raid6 тут бы помог.
я ему в ответ привел свой пример с raid6 где он нифига не помог.
а дело было так:
контроллер обнаружил косяк с температурой и отправил весь девайс в оффлайн.
кондеры починили, вернее автомат, который выбило.
корзина запустилась и обнаружила дохлый диск
я его поменял, запустился ребилд
и вот пока она ребилдилась вылетели один за другим еще 2 диска
фсе, аут..
тут бы raidz3 был к месту, да и то не факт что не сфейлился бы.

я не агитирую за raid51
я говорю что, например, на 8 шпинделях вместо raid6 уместнее сделать raid50(2*4).
при одинаковой полезной ёмкости, +- сравнимой надежности, raid50 существенно быстрее по IO.

Minona ★★☆
()
Ответ на: комментарий от mogwai

Для начала, «Надёжную СХД от EMC и мощные сервера от Dell» — это тоже совсем не выбор под задачу.

А вообще посыл моего камента был в том, что в 20-е ритуал переплачивания за брэнд сервера или СХД потерял всякий смысл. Не хочется модно-молодёжно — есть Supermicro, Intel, Huawei и подобные.

muon ★★★★
()
Ответ на: комментарий от crypt

я так понял, что на десятитеррабайтниках время восстановления больше и шанс свалиться на рейд5 слышком высоки.

читаем спек на WD GOLD 10TB
там есть такой параметр:
«Неисправимых ошибок чтения/прочитанных бит: 1 ошибка на 1E15 (10 в 15-й степени) бит»
т.е. вероятность однократного прочтения всего диска без ошибок:
10*10^12/(10^15/8)=0.08 (8%)

Minona ★★☆
()
Ответ на: комментарий от Minona

деградированный raid5 на порядок хуже деградированного raidz

чувак заявил о превосходстве RAID6 над RAID50 на порядки

О, так ты не балабол, ты пи3дабол

Lordwind ★★★★★
()
Ответ на: комментарий от Minona

этот чувак заявил о превосходстве RAID6 над RAID50 на порядки.

вообще он начал спорить с твоим непонятным заявлением

да и при современных объёмах одного диска рейды не актуальны.

у тебя там, возможно, есть рациональное зерно насчет сетевых кластерных фс, но высказано вообще слабо.

ну какая это авария

че?! у тебя же вылетело 4 диска. может, в твоем ДЦ это не считается аварией, я не знаю. но по-моему это даже несмешно. в твоем случае произошло поздно отключение в оффлайн. у тебя другие два диска начали сыпаться уже. тут на лицо неправильные настройки для отключения. идея была хорошая, но с реализацией вышла ошибка.

я говорю что, например, на 8 шпинделях вместо raid6 уместнее сделать raid50(2*4). при одинаковой полезной ёмкости, +- сравнимой надежности, raid50 существенно быстрее по IO.

при RAID6 у нас 6X READ Speed, при RAID50 ... тоже 6X READ Speed! (у тебя одна суммы пойдут на группу raid0). RAID50 не существенно быстрее, он только _на_ запись быстрее. НО при этом за счет того, что у тебя контрольные суммы лежат на страйпе, у тебя повышается вероятность вылета! Т.е. ты получаешь производительность на запись в ущерб надежности. В отличие от RAID5 vs RAID6, ты еще больше ухудшил ситуацию с надежностью.

и так же неточно ты пишешь по всему треду! делаешь неточные заявления, а по сути ошибочные заявления, а потом удивляешься, почему Lordwind не оценил.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от Lordwind

я так понимаю, что у чела достаточно скилов, чтобы пустить пыль в глаза и ему доверили серьезные железки, а в реальности не достаточно, чтобы не угробить данные на них («ну какая это авария»).

crypt ★★★★★
()
Ответ на: комментарий от Minona

угу, я схожу на их сайт и вникну чуть погодя

crypt ★★★★★
()
Ответ на: комментарий от crypt

линейная скорость чтения одинакова для обоих рейдов
random read у raid50 выше существенно чем у raid6

давай прикинем вероятность успеха ребилда для корзины из 8 шпинделей по 10Тб, в случае raid6 vs raid50
вероятность ошибки чтения 1 диска 10*10^12/(10^15/8)=0.08 (8%)
вероятность прочтения 1 диска = 100-8=92%
для ребилда raid6 достаточно прочитать данные с 6 дисков, т.е. вероятность успеха 0.92^6=0.61(61%)
для raid50 данные нужно считать с 3-х, т.е. вероятность успеха 0.92^3=0.78(78%)

у тебя повышается вероятность вылета!

а посчитай конкретную вероятность для 8 шпинделей для обоих вариантов raid50 и raid6
на сколько она выше?

и так же неточно ты пишешь по всему треду! делаешь неточные заявления, а по сути ошибочные заявления, а потом удивляешься, почему Lordwind не оценил.

приведи мне точные оценки вероятностей.
этот чел не смог.

Minona ★★☆
()
Ответ на: комментарий от Minona

а посчитай конкретную вероятность для 8 шпинделей для обоих вариантов raid50 и raid6
на сколько она выше?

ок, помоги мне с математикой. вполне очевидно, что ты повышаешь шансы на вылет группы с четностью при страйпе на 50%. если используешь несколько групп страйпов, то повышаешь шансы на вылет для всего массива еще больше. но вспоминать точную математику... нет. прикидки достаточно очевидные уже сами по себе.

random read у raid50 выше существенно чем у raid6

может быть. и чем это обусловлено?

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 3)
Ответ на: комментарий от Minona

Эт все хорошо. Но таки еще важны количество и емкость. Для 8 дисков я предпочту 6+HS (итого 5 дисков с данными), а не 50 (3 диска с данными).

А так от задачи надо. Где-то рейд нахрен не нужен, а где-то его и заменить нечем особо.

dk__
()
Ответ на: комментарий от crypt

ок, помоги мне с математикой

мне бы кто помог
для raid6 просто вычисляется.
для raid50 не так просто, худший случай посчитать просто, а лучший и как их свести вместе у меня не хватает тяму по комбинаторике и теорверу.

может быть. и чем это обусловлено?

тем что это страйп из raid5.

Minona ★★☆
()
Ответ на: комментарий от muon

Для начала не вырывай из контекста. @Legioner написал: «сервер Dell + СХД другого производителя», я его поправил, что и сервера, и СХД, и ПО - всё можно от одного производителя.

Покупая вышеупомянутую связку Dell+EMC+WMVare ты переплачиваешь не за «бренд», а за перекладывание ответственности за несовместимость со своих плеч (во время запуска) и плеч заказчика (потом) на плечи дистрибьютора. Если сервера от супермикро хреново будут работать с СХД от Huawei под управлением операционки от Red Hat, в случае неординарных проблем тебя будут пинать от одного ко второму, ибо совместимости между всем этим ни кто не гарантировал. Здесь же ты к одному придёшь с претензией «ваше ПО на вашем железе ведёт себя не так, как вами заявлено».

Чтобы понять, важнее заказчику переплатить сейчас за железо и софт, или переплатить за сопровождение потом - это надо конкретное ТЗ рассматривать.

mogwai ★★★★★
()
Ответ на: комментарий от Minona

тем что это страйп из raid5

страйп означает, что ты можешь одновременно считать пару треков с разных дисков, но это ничего не говорит об алгоритме балансировки при чтении. а вот при записи это гарантирует рендомную мешанину из кусков даже в случае с линейной записью больших данных.

crypt ★★★★★
()
Ответ на: комментарий от Minona

у меня не хватает тяму по комбинаторике и теорверу.

отсюда вывод, как и в случае с вылетом пачки дисков, что мое гуманитарное образование дает тот же результат=)

crypt ★★★★★
()
Ответ на: комментарий от dk__

Но таки еще важны количество и емкость

ну да, точную оценку без количества и емкости не вывести.

Для 8 дисков я предпочту 6+HS (итого 5 дисков с данными)

ок,

а не 50 (3 диска с данными).

не, ты путаешь с 51
2*raid5(3+1) это 6 дисков с данными

А так от задачи надо.

а кто спорит?
у меня эта 8х4Тб дисковая корзина под бэкапы и дистры стоит
а данных там на один диск только наберется
и думаю зря я там raidz2 сделал, надо 3-way или 4-way mirror сделать для надежности. =)

Minona ★★☆
()
Ответ на: комментарий от Minona

и думаю зря я там raidz2 сделал, надо 3-way или 4-way mirror сделать для надежности. =)

может, все-таки дц сменить?) в наших дц такая хрень с кондерами - рядовое явление даже в элитных. на западе арендую в бюджетном дц - 10 лет ничего подобного.

crypt ★★★★★
()
Ответ на: комментарий от Minona

Тупанул ага.

Надо еще раз крепко подумать над математикой. Пересобрать том возможно.

dk__
()
Ответ на: комментарий от crypt

правильно, и чем больше страйпов, тем вероятность что запрашиваемые данные находятся на разных и их можно считать одновременно - выше.

в тех же беспрактисах по zfs тоже рекомендуют не делать широких рейдов, а делать страйпы из узких
но не только из-за random read
если взять пример выше с 10тб диском и посчитать успешность ребилда raid6 для 14+2 шпинделей
получится ваще 0.92^14=31%
как жить %)

Minona ★★☆
()
Ответ на: комментарий от crypt

у меня техническое, но эти дисциплины я проэтосамил =))

Minona ★★☆
()
Ответ на: комментарий от crypt

дц это громко сказано
наш дц это 2 заводских серверных =))
к нам РТ уже заходил с предложением перехода в облака
был послан СБ в эти самые облака =)

Minona ★★☆
()
Ответ на: комментарий от Minona

не делать широких рейдов, а делать страйпы из узких

в каком смысле «узкий» и «широкий»? как это на правильном языке?

запрашиваемые данные находятся на разных и их можно считать одновременно - выше

смотри, у нас задача считать 12 чанков данных. это те чанки, что рейд контроллер определяет в единицу времени. ты можешь их считывать параллельно, можешь последовательно. если отдать ты их должен целиком, то разницы никакой. на дисках данные всеравно раскиданы, как попало. поэтому твое утверждение может быть верно только при определенном виде нагрузки, наверное. мелкие файлы, 64к типа. может, для бд.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от Minona

наш дц это 2 заводских серверных =))

ну, я же говорю, в этом корень всех твоих бед. перейди в нормальный дц и сразу перестанешь писать, что рейд всеравно бесполезен.=)

crypt ★★★★★
()
Ответ на: комментарий от Minona

Не думаю, что твоя математика верна. Диски оперируют блоками, а не битами. И (не)читаться будет целый блок, а не отдельный бит. Т.е. будет сразу, например, 32768 ошибочных битов. Это значит, что до этого будет статистически успешно прочитано 1e15 * 32768 битов или 3725290 терабайтов. Т.е. шанс неуспешно прочитать 10-терабайтный диск ничтожно мал.

Legioner ★★★★★
() автор топика
Ответ на: комментарий от crypt

в каком смысле «узкий» и «широкий»? как это на правильном языке?

так это и есть правильный
термин stripe width не знаешь?
пример для 16hd:
вместо 1*raid6(14+2), 2*raid6(6+2), т.е. raid60
для 24hd: 3*raid6(6+2)

ты можешь их считывать параллельно, можешь последовательно. если отдать ты их должен целиком, то разницы никакой

как никакой?!
параллельно читается быстрее, разве нет?
мы по-моему имеем ввиду разные вещи
погугли тесты random io performance raid6 vs raid50

Minona ★★☆
()
Ответ на: комментарий от Legioner

а это не моя математика, это математика из этих статей Почему RAID 6 не популярен? (комментарий)
и она верна, ну или я не нашел опровержений этим выкладкам. найдешь - дай знать.

диски пишут и читают биты. это контроллер принимает и отдаёт их блоками.
на блин пишется цепочка битов данных + цепочка битов коррекции ошибок. емнип там используется коды Рида-Соломона.

Minona ★★☆
()
Ответ на: комментарий от Minona

Опровержение найти просто - берёшь диск и читаешь его. Никаких ошибок не будет. У меня NAS из 16 TB дома уже много лет, ошибок на нём отродясь не было. Что противоречит твоим процентам.

Legioner ★★★★★
() автор топика
Последнее исправление: Legioner (всего исправлений: 1)
Ответ на: комментарий от Legioner

Ну даже 1000 успешных практик не опровергают корректные теоретические выкладки. Если они корректны.

dk__
()
Ответ на: комментарий от Minona

«Неисправимых ошибок чтения/прочитанных бит: 1 ошибка на 1E15 (10 в 15-й степени) бит»

Можно ссылку на спецификацию с таким параметром? А то я кроме AFR ничего найти не смог.

Black_Shadow ★★★★★
()
Ответ на: комментарий от dk__

Если практика опровергает теорию, значит теория неверна. Все эти теории написаны без участия специалистов со стороны производителей ЖД, которые досконально знают, что именно означают эти цифры процента отказов и тд. А поэтому это просто жонглирование цифрами без полного понимания.

Legioner ★★★★★
() автор топика
Ответ на: комментарий от Minona

погугли тесты random io performance raid6 vs raid50

пожалуйста.

https://louwrentius.com/static/images/fio/Random-4K-read-performance-iops.svg

https://louwrentius.com/benchmark-results-of-random-io-performance-of-differe...

видишь? вот тебе случай random read, когда разница практически отсутствует даже на raid0 vs raid5.

там на write разница.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 2)
Ответ на: комментарий от Legioner

Нет. В статистике единичные практики не значат ничего. У тебя монетка может 100 раз на ребро встать. И что? И ничего.

dk__
()
Ответ на: комментарий от Legioner

ты гарантируешь что не будет? =)
параметр UER это не гарантированная 1 ошибка на 10^15 бит
это вероятность ошибки.
то что конкретно у тебя стоит, к вероятности отношения не имет, тебе повезло, у тебя не было, а у того чувака, который купил диски одного урожая - рейд посыпался — не повезло, вероятность она такая.

да, еще раз — проценты не мои.
прочитай статью, вооружись теорвером и посчитай вероятность для 10тб диска с UER 1/10^15.
найдешь ошибку - пиши.

Minona ★★☆
()
Ответ на: комментарий от Minona

параметр UER это не гарантированная 1 ошибка на 10^15 бит

Дай ссылку на спецификацию с таким параметром. А то похоже, что ты ошибся в 32768 раз.

Black_Shadow ★★★★★
()
Последнее исправление: Black_Shadow (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.