LINUX.ORG.RU
ФорумTalks

Почему RAID 6 не популярен?

 


2

5

С одной стороны в сети полно историй про то, что RAID 5 сегодня использовать просто нельзя, т.к. при вылете одного диска и пересборке массива слишком велик шанс вылета одного из оставшихся дисков, что приведёт к повреждению массива. С RAID 6 этой проблемы нет. Т.е. этот вариант с большими объёмами предпочтительней. С другой стороны я просматриваю серверы именитых производителей вроде HP, DELL и там в характеристиках есть аппаратный RAID, вот ни разу не видел, чтобы там была поддержка RAID 6. Понятно, что можно всё софт-рейдом сделать, но хочется же аппаратно, деньги-то уплочены. Как так получается?

★★★★★

Ответ на: комментарий от Legioner

Надёжную СХД от EMC и мощные сервера от Dell на которых установлена ESXi. Да.

Чтобы не возиться ceph и oVirt, а просто оплачивать контракт на оперативную замену накопителей.

mogwai ★★★★★
()

С RAID 6 этой проблемы нет.

С 10-гиговыми дисками уже есть.

я просматриваю серверы именитых производителей вроде HP

HP производит не сервера, а принтеры. RAID6 есть, поддерживается и используется.

pinus_nigra
()
Ответ на: комментарий от pinus_nigra

HP производит не сервера, а принтеры. RAID6 есть, поддерживается и используется.

вот тут я не понял. на принтерах тоже построчная репликация идет?! 4 печатают строку, а два хеш, потом меняются. так?

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 1)
Ответ на: комментарий от Minona

Могу и в другие глупости макнуть

вместо RAID-6 лучше делать RAID-50

А потом вылетает диск и при восстановлении все спящие ошибки ломают ребилд, в лучшем случае ломают данные. Ты ведь не забыл, что незанятое место так же считывается на ребилде, в отличие от raidz?

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

ты в свои глупости макайся
спящие ошибки легко сломают и raidz
если ты еще не видел повреждений данных на zfs и не импортирующихся пулов — тебя ждет множество открытий.

Minona ★★☆
()
Ответ на: комментарий от crypt

На серверах есть, на принтерах нету. Понять это сложно, лучше просто запомни.

pinus_nigra
()
Ответ на: комментарий от Minona

Ты не путай спящие ошибки в данных и ошибки zfs/конфигурации. До тебя не доходит, что деградированный raid5 на порядок хуже деградированного raidz и на больших объемах будет без пяти минут труп. Без raidz2 еще можно обойтись, а без raid6 нет.

Один чел купил диски из одной партии и воткнул одновременно. Через какое-то время они начали отказывать последовательно, массив помер. Поэтому именно 2й резервный диск дает возможность ребилда/бекапа с защищенного массива. Если бы ты читал профильные конфы, давно бы был в курсе. Но раз хочешь гордо ходить по граблям, то кто ж я такой чтобы тебе запрещать.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

Ты не путай спящие ошибки в данных и ошибки zfs/конфигурации.

это ты не втыкаешь
ошибки, способные зафейлить raid5, точно также зафейлят raidz.

До тебя не доходит, что деградированный raid5 на порядок хуже деградированного raidz и на больших объемах будет без пяти минут труп.

математическое доказательство в студию что хуже на порядок.

Без raidz2 еще можно обойтись, а без raid6 нет.

а в бестпрактис по zfs рекомендуют на большом количестве шпинделей делать не raidz2 или raidz3, а raidz+riadz+...+raidz или raidz2+riadz2+...+raidz2 если шпинделей не жалко
догадайся почему
и поймешь почему в случае аппаратного рейда raid50 предпочтительнее raid6. (а ведь ты к этому утверждению прикопался, о zfs речи вообще не было)

Один чел купил диски из одной партии и воткнул одновременно. Через какое-то время они начали отказывать последовательно, массив помер. Поэтому именно 2й резервный диск дает возможность ребилда/бекапа с защищенного массива.

щас винты уже есть на 20 тб, тебе понадобится 3-й парити-диск чтобы не зафейлить ребилд.

Если бы ты читал профильные конфы, давно бы был в курсе.

опять в вангу играешь?

Но раз хочешь гордо ходить по граблям, то кто ж я такой чтобы тебе запрещать.

правильно — никто. я по граблям уже отходил и шишек понабивал.
и данные вручную из рейдов вынимал.
твоя очередь =)

Minona ★★☆
()

можно всё софт-рейдом сделать

Покажите мне софтрейд, где можно в любом рейде на горячую заменить один диск на другой, не прикасаясь к софту и настройкам вообще?

yu-boot ★★★★★
()
Ответ на: комментарий от Minona

математическое доказательство

zfs контролирует целостность данных, значит до деградации ошибок будет меньше и при наличии последнего диска избыточности оставшиеся ошибки будут исправлены в ходе ребилда

бестпрактис

которые написаны 20 лет назад, когда диски были на порядки меньше

тебе понадобится 3-й парити-диск чтобы не зафейлить ребилд

ты тупой? я тебе повторяю, сакральный смысл в том, что ПОСЛЕ деградации остается 1 диск избыточности, а значит ты восстаналиваешь все еще защищенный массив, ты можешь накинуть еще сколько угодно дисков, но принципиальная разница все равно будет только между 0 (после 5/z) и 1 (после 6/z2)

твоя очередь

ну жди жди, УМВР

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

с танталовым конденсатором

заряда которого хватает на 0.001 мс? вы вкурсии, какого размера нужен кондетсатор (и обязательно с очень низким ESR) - чтобы оно не просто светодиодом как в последний раз моргнуло, а действительно сделало что-то полезное?

вы же навеврно в курсии, что запись достаточно жручая по энергии операция. иначе бы эта параша так не грелась.

вот раскрученный блинчик, вангую что да, запросто подпитает на доли секунды.

более того, там нужон супер-конденсатор (ака ионистор) на несколько F, а не просто фильтр по питанию, кек

n_play
()
Последнее исправление: n_play (всего исправлений: 1)
Ответ на: комментарий от Lordwind

а вы вкурсии, какая латентность у ssd?

похоже кто-то снова не вкурссии какое там типичное время записи у ячейки.

речь про работу самой мелкосхемы памяти. а не то, что там наружу умный контроллер репортирует

n_play
()

У RAID-6 больше пенальти на запись, чем у RAID-5 (4 против 6). Проще говоря, он хуже на запись.

Если объемы и железо позволяют, то лучше использовать RAID-5.
Конечно, если диски - SATA на 10TB, то RAID-6 без вариантов.

Только энтерпрайз-то не на SATA живет :)

Вот, например, перед глазам массив на сотню терабайт, собранный из 6TB SSD.
Там RAID-5 (3+1).

bigbit ★★★★★
()
Ответ на: комментарий от n_play

заряда которого хватает на 0.001 мс? вы вкурсии, какого размера нужен кондетсатор

Разбери хоть раз энтерпрайзный ssd, там россыпь кондюков, а не один.

https://passive-components.eu/tantalum-polymer-capacitors-protect-data-at-ssd-applications/

zemidius
()
Последнее исправление: zemidius (всего исправлений: 1)
Ответ на: комментарий от n_play

более того, там нужон супер-конденсатор

в серверных ссд такие и ставят, лолка, беглый гуглеж показывает, что после 5 лет деградации энергии все равно хватит на 1 секунду работы

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

Что на это скажет ваш google и so?

Скажет, думаю, что без понимания того что именно там восстанавливается - ничего не понятно. (Примерно как знаменитый подземный стук.) Сбой памяти, багулина в коде RAID, искажение данных в шнурке...

Ключевое слово - восстанавливает. Претензия к RAID 5 была в том, что мол при замене диска и пересборке массива у вас с высокой долей вероятности произойдёт некорректируемая ошибка, которая похоронит ваш массив. Однако в реальности возможный сбой вероятно будет связан с искажением данных при чтении или передаче, а не повреждением головок или поверхности диска, т.е. сбой устраняется всего лишь повторным чтением сектора.

atrus ★★★★★
()
Ответ на: комментарий от n_play

заряда которого хватает на 0.001 мс? вы вкурсии, какого размера нужен кондетсатор (и обязательно с очень низким ESR) - чтобы оно не просто светодиодом как в последний раз моргнуло, а действительно сделало что-то полезное?

Производители enterprise ssd ставят суперконденсаторы специально для power loss protection. Ты думаешь, что они глупее тебя, и не рассчитали ёмкость?

Black_Shadow ★★★★★
()
Ответ на: комментарий от atrus

Намек был к тому, что почти никто про фейлы не пишет. А про вялотекущие косяки абсолютно никто. Поэтому создается впечатление, что у всех все хорошо. И вишенкой на торте алгоритмы гугла, которые выдадут 100500 говностраниц по любому ключевому слову.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

математическое доказательство

zfs контролирует целостность данных, ...

ты заявил «на порядок», так приведи математическое доказательство, а не пространные рассуждения.

бестпрактис

которые написаны 20 лет назад, когда диски были на порядки меньше

во 1. не 20, во 2. они актуальны, если вдуматься с т.з. теорвера.

ты тупой? я тебе повторяю, сакральный смысл в том, ...

это ты тупой, нет там никакого сакрального смысла.
у меня в 16-ти шпиндельной корзине от перегрева вылетело один за другим 4 винта (кондёры вырубились)... и фсё, весь рейд отправился в /dev/null.
там был raid-6, и в этом случае даже raidz3 не очень то помог бы, мелкие файлы можно бы было выковырять, а остальные - хер.

твоя очередь

ну жди жди, УМВР

знаешь, есть такое понятие «ошибка выжившего», в статистике или в теорвере, не помню точно.
так вот, в ИТ надо ввести понятие «ошибка УМВР»
ты еще маленький, у тебя впереди много открытий чудных на тему надежности рейдов =)

Minona ★★☆
()
Ответ на: комментарий от crypt

Ну, наше дело предложить. Но bcache штука шикарная как по мне, юзаю его как дома так и в проде уже несколько лет, пока впечатления сугубо положительные.

DawnCaster ★★
()
Ответ на: комментарий от mogwai

Надёжную СХД от EMC и мощные сервера от Dell на которых установлена ESXi

Это стёб, или реально предлагаешь пропутешествовать в 00-е?

muon ★★★★
()
Ответ на: комментарий от yu-boot

Покажите мне софтрейд, где можно в любом рейде на горячую заменить один диск на другой

Hotspare не считается?

iZEN ★★★★★
()
Ответ на: комментарий от yu-boot

где можно в любом рейде на горячую заменить один диск на другой

Только на чистый. Если на нем есть метаданные от другого рейда - не можно )

zemidius
()
Ответ на: комментарий от Minona

у меня в 16-ти шпиндельной корзине от перегрева вылетело один за другим 4 винта (кондёры вырубились)

На моей практике два раза raid-5 умирал. Первый с интервалом в 3 дня вышли 2 диска (запаса не было, ждал оплаты счёта). Во второй раз с интервалом в час, я только и успел распаковать запасной. Но тогда «я его слепила из того что было» (дешёвый сервак с 6 дисками). Единственное что спасало, так это бэкап. Так что raid - это действительно не 100% панацея, а вероятность выхода нескольких дисков в короткий промежуток времени не так уж и мала.

AlexVR ★★★★★
()
Ответ на: комментарий от Black_Shadow

579 130 руб.

Где он дорогущий?

Здесь:

579 130 руб.

Это эпически огромные деньги за такое железо.

Понятно, что сюда заложена скидка минимум в 20%, но всё ещё дорого.

muon ★★★★
()
Ответ на: комментарий от zemidius

В HP SmartArray можно. Главное - менять на горячую. Тогда он понимает, каким метаданным отдать приоритет.

bigbit ★★★★★
()
Ответ на: комментарий от bigbit

Бгг, ну штош, hp предпочел удобство надежности и безопасности )

zemidius
()
Ответ на: комментарий от AlexVR

+1 за историю. вот этим надо промывать мозги всем, кто хочет рейд 5 сделать.

crypt ★★★★★
()
Ответ на: комментарий от Minona

кондёры вырубились)... и фсё, весь рейд отправился в /dev/null. там был raid-6, и в этом случае даже raidz3 не очень то помог бы

это глупо. это называется авария в ДЦ и Lordwind здесь абсолютно прав. RAID не защищает от аварии в ДЦ! (нужно написать еще капслоком?). если бы весь ДЦ был в огне, ты бы это тоже как аргумент в споре про рейд привел?

ты агитируешь за пятый рейд на основе mirror? ну ок, на основе миррора всегда надежнее. но ведь и затраты. raid6 в разы дешевле выходит.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 3)
Ответ на: комментарий от Minona

от перегрева вылетело один за другим 4 винта

А если сервер расстрелять из гаубицы, то ни один рейд не спасет. Рейды не нужны. Л - Логика.

ты еще маленький

на этом можно и закончить

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

че там новенького появилось в рейдах в связи с увеличением объемов дисков за последние 5 лет? что на конфах говорят? (т.е. какое видео смотреть)

crypt ★★★★★
()
Ответ на: комментарий от crypt

Никто не сыпется. Это софт ошибки накапливаются. При ребилде массива они скорее всего тихо попортят данные, но могут и убить массив.

Lordwind ★★★★★
()
Ответ на: комментарий от crypt

Массивы архитектурно то не менялись, ну или я не заметил. А вот диски все хуже и хуже. Вдшники пересрали и убрали SMR, теперь даже в названии пишут «вот это у нас диски, а тут зашквар», но хоть не перепутаешь. Сигейты пока прячут инфу, но я их уже давно не беру и не советую.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

конечно можно
ты же не подтвердил своё «на порядки» вменяемым доказательством.
ты просто балабол.

Minona ★★☆
()
Ответ на: комментарий от Lordwind

я так понял, что на десятитеррабайтниках время восстановления больше и шанс свалиться на рейд5 слышком высоки.

crypt ★★★★★
()
Ответ на: комментарий от crypt

У каждого диска есть 3 типа ошибок. 1 - контроллер заметил и исправил (видно в смарте, их дофига, но это пох). 2 - контроллер заметил, но не исправил. 3 - контроллер не заметил и не исправил. На больших объемах 2 и 3 начинают накапливаться сами по себе и даже если все исправно. Магия zfs в том, что при наличии избыточности в массиве они исправляются тоже сами. Но еще и zfs показывает, что такие ошибки есть. Они то будут на любом массиве подобного объема, просто mdadm и остальные их не увидят.

Lordwind ★★★★★
()
Ответ на: комментарий от crypt

Основной пул у меня на 40 Тб, скраб длится 15-40 часов, ребилд будет примерно столько же. Но если диски отказывают каскадно, то на чтении сбойных секторов скорость будет проседать и время может вырасти в разы.

Lordwind ★★★★★
()
Ответ на: комментарий от bigbit

Вот, например, перед глазам массив на сотню терабайт, собранный из 6TB SSD. Там RAID-5 (3+1).

Вот перед глазами 2*(4*RAID6(8+2) + 3 hotspare) для данных, в работе 7-ой год. Собран по рекомендациям Lustre.

AlexVR ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.