Почему RAID 6 не популярен?

Надёжную СХД от EMC и мощные сервера от Dell на которых установлена ESXi. Да.

Чтобы не возиться ceph и oVirt, а просто оплачивать контракт на оперативную замену накопителей.

С RAID 6 этой проблемы нет.

С 10-гиговыми дисками уже есть.

я просматриваю серверы именитых производителей вроде HP

HP производит не сервера, а принтеры. RAID6 есть, поддерживается и используется.

Проявляется на десктопных SSD

У меня как раз серверный с танталовым конденсатором

HP производит не сервера, а принтеры. RAID6 есть, поддерживается и используется.

вот тут я не понял. на принтерах тоже построчная репликация идет?! 4 печатают строку, а два хеш, потом меняются. так?

о! ванга в треде.
ты из 3-х предложений осилил только одно?

Могу и в другие глупости макнуть

вместо RAID-6 лучше делать RAID-50

А потом вылетает диск и при восстановлении все спящие ошибки ломают ребилд, в лучшем случае ломают данные. Ты ведь не забыл, что незанятое место так же считывается на ребилде, в отличие от raidz?

ты в свои глупости макайся
спящие ошибки легко сломают и raidz
если ты еще не видел повреждений данных на zfs и не импортирующихся пулов — тебя ждет множество открытий.

На серверах есть, на принтерах нету. Понять это сложно, лучше просто запомни.

Ты не путай спящие ошибки в данных и ошибки zfs/конфигурации. До тебя не доходит, что деградированный raid5 на порядок хуже деградированного raidz и на больших объемах будет без пяти минут труп. Без raidz2 еще можно обойтись, а без raid6 нет.

Один чел купил диски из одной партии и воткнул одновременно. Через какое-то время они начали отказывать последовательно, массив помер. Поэтому именно 2й резервный диск дает возможность ребилда/бекапа с защищенного массива. Если бы ты читал профильные конфы, давно бы был в курсе. Но раз хочешь гордо ходить по граблям, то кто ж я такой чтобы тебе запрещать.

Ты не путай спящие ошибки в данных и ошибки zfs/конфигурации.

это ты не втыкаешь
ошибки, способные зафейлить raid5, точно также зафейлят raidz.

До тебя не доходит, что деградированный raid5 на порядок хуже деградированного raidz и на больших объемах будет без пяти минут труп.

математическое доказательство в студию что хуже на порядок.

Без raidz2 еще можно обойтись, а без raid6 нет.

а в бестпрактис по zfs рекомендуют на большом количестве шпинделей делать не raidz2 или raidz3, а raidz+riadz+...+raidz или raidz2+riadz2+...+raidz2 если шпинделей не жалко
догадайся почему
и поймешь почему в случае аппаратного рейда raid50 предпочтительнее raid6. (а ведь ты к этому утверждению прикопался, о zfs речи вообще не было)

Один чел купил диски из одной партии и воткнул одновременно. Через какое-то время они начали отказывать последовательно, массив помер. Поэтому именно 2й резервный диск дает возможность ребилда/бекапа с защищенного массива.

щас винты уже есть на 20 тб, тебе понадобится 3-й парити-диск чтобы не зафейлить ребилд.

Если бы ты читал профильные конфы, давно бы был в курсе.

опять в вангу играешь?

Но раз хочешь гордо ходить по граблям, то кто ж я такой чтобы тебе запрещать.

правильно — никто. я по граблям уже отходил и шишек понабивал.
и данные вручную из рейдов вынимал.
твоя очередь =)

можно всё софт-рейдом сделать

Покажите мне софтрейд, где можно в любом рейде на горячую заменить один диск на другой, не прикасаясь к софту и настройкам вообще?

математическое доказательство

zfs контролирует целостность данных, значит до деградации ошибок будет меньше и при наличии последнего диска избыточности оставшиеся ошибки будут исправлены в ходе ребилда

бестпрактис

которые написаны 20 лет назад, когда диски были на порядки меньше

тебе понадобится 3-й парити-диск чтобы не зафейлить ребилд

ты тупой? я тебе повторяю, сакральный смысл в том, что ПОСЛЕ деградации остается 1 диск избыточности, а значит ты восстаналиваешь все еще защищенный массив, ты можешь накинуть еще сколько угодно дисков, но принципиальная разница все равно будет только между 0 (после 5/z) и 1 (после 6/z2)

твоя очередь

ну жди жди, УМВР

с танталовым конденсатором

заряда которого хватает на 0.001 мс? вы вкурсии, какого размера нужен кондетсатор (и обязательно с очень низким ESR) - чтобы оно не просто светодиодом как в последний раз моргнуло, а действительно сделало что-то полезное?

вы же навеврно в курсии, что запись достаточно жручая по энергии операция. иначе бы эта параша так не грелась.

вот раскрученный блинчик, вангую что да, запросто подпитает на доли секунды.

более того, там нужон супер-конденсатор (ака ионистор) на несколько F, а не просто фильтр по питанию, кек

хватает на 0.001 мс

а вы вкурсии, какая латентность у ssd?

а вы вкурсии, какая латентность у ssd?

похоже кто-то снова не вкурссии какое там типичное время записи у ячейки.

речь про работу самой мелкосхемы памяти. а не то, что там наружу умный контроллер репортирует

У RAID-6 больше пенальти на запись, чем у RAID-5 (4 против 6). Проще говоря, он хуже на запись.

Если объемы и железо позволяют, то лучше использовать RAID-5.
Конечно, если диски - SATA на 10TB, то RAID-6 без вариантов.

Только энтерпрайз-то не на SATA живет :)

Вот, например, перед глазам массив на сотню терабайт, собранный из 6TB SSD.
Там RAID-5 (3+1).

ошибки, способные зафейлить raid5, точно также зафейлят raidz.

Нет, не точно также.

заряда которого хватает на 0.001 мс? вы вкурсии, какого размера нужен кондетсатор

Разбери хоть раз энтерпрайзный ssd, там россыпь кондюков, а не один.

https://passive-components.eu/tantalum-polymer-capacitors-protect-data-at-ssd-applications/

более того, там нужон супер-конденсатор

в серверных ссд такие и ставят, лолка, беглый гуглеж показывает, что после 5 лет деградации энергии все равно хватит на 1 секунду работы

Что на это скажет ваш google и so?

Скажет, думаю, что без понимания того что именно там восстанавливается - ничего не понятно. (Примерно как знаменитый подземный стук.) Сбой памяти, багулина в коде RAID, искажение данных в шнурке...

Ключевое слово - восстанавливает. Претензия к RAID 5 была в том, что мол при замене диска и пересборке массива у вас с высокой долей вероятности произойдёт некорректируемая ошибка, которая похоронит ваш массив. Однако в реальности возможный сбой вероятно будет связан с искажением данных при чтении или передаче, а не повреждением головок или поверхности диска, т.е. сбой устраняется всего лишь повторным чтением сектора.

заряда которого хватает на 0.001 мс? вы вкурсии, какого размера нужен кондетсатор (и обязательно с очень низким ESR) - чтобы оно не просто светодиодом как в последний раз моргнуло, а действительно сделало что-то полезное?

Производители enterprise ssd ставят суперконденсаторы специально для power loss protection. Ты думаешь, что они глупее тебя, и не рассчитали ёмкость?

Намек был к тому, что почти никто про фейлы не пишет. А про вялотекущие косяки абсолютно никто. Поэтому создается впечатление, что у всех все хорошо. И вишенкой на торте алгоритмы гугла, которые выдадут 100500 говностраниц по любому ключевому слову.

математическое доказательство

zfs контролирует целостность данных, ...

ты заявил «на порядок», так приведи математическое доказательство, а не пространные рассуждения.

бестпрактис

которые написаны 20 лет назад, когда диски были на порядки меньше

во 1. не 20, во 2. они актуальны, если вдуматься с т.з. теорвера.

ты тупой? я тебе повторяю, сакральный смысл в том, ...

это ты тупой, нет там никакого сакрального смысла.
у меня в 16-ти шпиндельной корзине от перегрева вылетело один за другим 4 винта (кондёры вырубились)... и фсё, весь рейд отправился в /dev/null.
там был raid-6, и в этом случае даже raidz3 не очень то помог бы, мелкие файлы можно бы было выковырять, а остальные - хер.

твоя очередь

ну жди жди, УМВР

знаешь, есть такое понятие «ошибка выжившего», в статистике или в теорвере, не помню точно.
так вот, в ИТ надо ввести понятие «ошибка УМВР»
ты еще маленький, у тебя впереди много открытий чудных на тему надежности рейдов =)

А что может быть намного дороже?

Это просто коммутатор в рублях где-то 1,5 млн стоит.

т.е. это диски там где-то помаленьку осыпаются или что? что за рейд, на чем сделан?

огласи отличия, плиз.

Ну, наше дело предложить. Но bcache штука шикарная как по мне, юзаю его как дома так и в проде уже несколько лет, пока впечатления сугубо положительные.

Надёжную СХД от EMC и мощные сервера от Dell на которых установлена ESXi

Это стёб, или реально предлагаешь пропутешествовать в 00-е?

огласи отличия, плиз.

https://www.klennet.com/notes/2019-07-04-raid5-vs-raidz.aspx

Покажите мне софтрейд, где можно в любом рейде на горячую заменить один диск на другой

Hotspare не считается?

где можно в любом рейде на горячую заменить один диск на другой

Только на чистый. Если на нем есть метаданные от другого рейда - не можно )

Когда меняешь на горячую, можно и не на чистый.

у меня в 16-ти шпиндельной корзине от перегрева вылетело один за другим 4 винта (кондёры вырубились)

На моей практике два раза raid-5 умирал. Первый с интервалом в 3 дня вышли 2 диска (запаса не было, ждал оплаты счёта). Во второй раз с интервалом в час, я только и успел распаковать запасной. Но тогда «я его слепила из того что было» (дешёвый сервак с 6 дисками). Единственное что спасало, так это бэкап. Так что raid - это действительно не 100% панацея, а вероятность выхода нескольких дисков в короткий промежуток времени не так уж и мала.

579 130 руб.

Где он дорогущий?

Здесь:

579 130 руб.

Это эпически огромные деньги за такое железо.

Понятно, что сюда заложена скидка минимум в 20%, но всё ещё дорого.

Нельзя. Контроллер увидит метаданные и оставит его в unconfigured state (что совершенно логично и правильно), далее ручками.

В HP SmartArray можно. Главное - менять на горячую. Тогда он понимает, каким метаданным отдать приоритет.

Бгг, ну штош, hp предпочел удобство надежности и безопасности )

+1 за историю. вот этим надо промывать мозги всем, кто хочет рейд 5 сделать.

кондёры вырубились)... и фсё, весь рейд отправился в /dev/null. там был raid-6, и в этом случае даже raidz3 не очень то помог бы

это глупо. это называется авария в ДЦ и Lordwind здесь абсолютно прав. RAID не защищает от аварии в ДЦ! (нужно написать еще капслоком?). если бы весь ДЦ был в огне, ты бы это тоже как аргумент в споре про рейд привел?

ты агитируешь за пятый рейд на основе mirror? ну ок, на основе миррора всегда надежнее. но ведь и затраты. raid6 в разы дешевле выходит.

от перегрева вылетело один за другим 4 винта

А если сервер расстрелять из гаубицы, то ни один рейд не спасет. Рейды не нужны. Л - Логика.

ты еще маленький

на этом можно и закончить

че там новенького появилось в рейдах в связи с увеличением объемов дисков за последние 5 лет? что на конфах говорят? (т.е. какое видео смотреть)

Никто не сыпется. Это софт ошибки накапливаются. При ребилде массива они скорее всего тихо попортят данные, но могут и убить массив.

а откуда они берутся? (опять же, если есть видео...)

Массивы архитектурно то не менялись, ну или я не заметил. А вот диски все хуже и хуже. Вдшники пересрали и убрали SMR, теперь даже в названии пишут «вот это у нас диски, а тут зашквар», но хоть не перепутаешь. Сигейты пока прячут инфу, но я их уже давно не беру и не советую.

конечно можно
ты же не подтвердил своё «на порядки» вменяемым доказательством.
ты просто балабол.

я так понял, что на десятитеррабайтниках время восстановления больше и шанс свалиться на рейд5 слышком высоки.

У каждого диска есть 3 типа ошибок. 1 - контроллер заметил и исправил (видно в смарте, их дофига, но это пох). 2 - контроллер заметил, но не исправил. 3 - контроллер не заметил и не исправил. На больших объемах 2 и 3 начинают накапливаться сами по себе и даже если все исправно. Магия zfs в том, что при наличии избыточности в массиве они исправляются тоже сами. Но еще и zfs показывает, что такие ошибки есть. Они то будут на любом массиве подобного объема, просто mdadm и остальные их не увидят.

Основной пул у меня на 40 Тб, скраб длится 15-40 часов, ребилд будет примерно столько же. Но если диски отказывают каскадно, то на чтении сбойных секторов скорость будет проседать и время может вырасти в разы.

про zfs понятно, но mdadm также держит контрольные суммы для своих секторов.

Вот, например, перед глазам массив на сотню терабайт, собранный из 6TB SSD. Там RAID-5 (3+1).

Вот перед глазами 2*(4*RAID6(8+2) + 3 hotspare) для данных, в работе 7-ой год. Собран по рекомендациям Lustre.