Он не умеет проверять целостность данных. 2 - он перечитает (и вроде должен перезаписать). 3 - вообще пропустит. А в 3 вся мякотка.

ближе к делу

пруфпик твоего магического танталового кондетсатора будет или нет?

или ты просто присрал первое услышанное в курилке слово и надеялся что никто не заметит твоих обосренек?

да, точно. я забываю, что mdadm использует контрольные суммы только при скрабе, а не при обычном считывании.

все еще жду пруфпика с танталовым кондетсатром. чтобы посмеяться над емкостью.

Производители enterprise ssd ставят суперконденсаторы специально для power loss protection.

в этом сомнений нету. даже потенциально предпологаю какая там емкость нужна. и сколько их нужно будет в параллель взять, чтобы добиться более менее нормального рабочего тока от такой чахлой связки.

Ты думаешь, что они глупее тебя, и не рассчитали ёмкость?

пусть думает тот, кто первым перднул про танталовый кондетсатор.

У меня Samsung 845 DC Pro, там 15 конденсаторов. Иди утирайся, обосранчик.

Если SAS или SATA, то нормально. Я же сам ничего не выдумываю - конфиг утверждается EMC или Хитачи.

Нет, в том то и дело. На любом копеечном lsi-logic я могу на горячую выдернуть поехавший диск (или даже не поехавший, главное чтобы массив в целом выжил как то), воткнуть новый, контроллер их автоматом начнёт синхронить, а софт поверх этого всего вообще не заметит никаких проблем с i/o. Насколько я помню приключения с mdadm, там надо было руками диск выводить из массива, руками добавлять новый руками запускать синхронизацию. Смысл в таком «массиве»? Netflow на два+ диска параллельно писать? Может я конечно отстал от жизни и с софт рейдами давно всё нормально в этом плане?

ZFS вроде тоже не умеет на горячую подхватывать hot spare диск взамен вышедшему из строя — надо давать явно команду подмены. Было обсуждение на этот счёт.

Поэтому актуальнее сделать один RAIDZ2, чем городить огород из hot spare и других видов RAID в пуле.

Ну так где хоть один случай? Мне чисто из академического интереса, был описан хоть кем-то не в виде рассчётов, а в виде практической ситуации: В RAID 5 умер один диск, заменил, массив не пересобрался, данные погибли, но остальные диски не в отказе.

4kn и 512e в одном рейд массиве (комментарий)

Это стёб, или ты выбираешь архитектуру не под задачу, а чтобы модно-молодёжно?

ну какая это авария
поднялась температура в серверной на 10 градусов и диски нагрелись до 65 при потолке в 60 по спеке.

какой спор?
этот чувак заявил о превосходстве RAID6 над RAID50 на порядки.
я испросил доказательство, ибо это утверждение - бред.
в доказательство он не смог.
утверждение что raidz2 на порядки превосходит RAID6 тоже бред.

далее, он привел пример чувака с raid5 и вылетевшими последовательно дисками, и заявил что типа raid6 тут бы помог.
я ему в ответ привел свой пример с raid6 где он нифига не помог.
а дело было так:
контроллер обнаружил косяк с температурой и отправил весь девайс в оффлайн.
кондеры починили, вернее автомат, который выбило.
корзина запустилась и обнаружила дохлый диск
я его поменял, запустился ребилд
и вот пока она ребилдилась вылетели один за другим еще 2 диска
фсе, аут..
тут бы raidz3 был к месту, да и то не факт что не сфейлился бы.

я не агитирую за raid51
я говорю что, например, на 8 шпинделях вместо raid6 уместнее сделать raid50(2*4).
при одинаковой полезной ёмкости, +- сравнимой надежности, raid50 существенно быстрее по IO.

Для начала, «Надёжную СХД от EMC и мощные сервера от Dell» — это тоже совсем не выбор под задачу.

А вообще посыл моего камента был в том, что в 20-е ритуал переплачивания за брэнд сервера или СХД потерял всякий смысл. Не хочется модно-молодёжно — есть Supermicro, Intel, Huawei и подобные.

я так понял, что на десятитеррабайтниках время восстановления больше и шанс свалиться на рейд5 слышком высоки.

читаем спек на WD GOLD 10TB
там есть такой параметр:
«Неисправимых ошибок чтения/прочитанных бит: 1 ошибка на 1E15 (10 в 15-й степени) бит»
т.е. вероятность однократного прочтения всего диска без ошибок:
10*10^12/(10^15/8)=0.08 (8%)

Вот перед глазами 2*(4*RAID6(8+2) + 3 hotspare)

расшифруй плиз 2*(4*RAID6(8+2))

деградированный raid5 на порядок хуже деградированного raidz

чувак заявил о превосходстве RAID6 над RAID50 на порядки

О, так ты не балабол, ты пи3дабол

этот чувак заявил о превосходстве RAID6 над RAID50 на порядки.

вообще он начал спорить с твоим непонятным заявлением

да и при современных объёмах одного диска рейды не актуальны.

у тебя там, возможно, есть рациональное зерно насчет сетевых кластерных фс, но высказано вообще слабо.

ну какая это авария

че?! у тебя же вылетело 4 диска. может, в твоем ДЦ это не считается аварией, я не знаю. но по-моему это даже несмешно. в твоем случае произошло поздно отключение в оффлайн. у тебя другие два диска начали сыпаться уже. тут на лицо неправильные настройки для отключения. идея была хорошая, но с реализацией вышла ошибка.

я говорю что, например, на 8 шпинделях вместо raid6 уместнее сделать raid50(2*4). при одинаковой полезной ёмкости, +- сравнимой надежности, raid50 существенно быстрее по IO.

при RAID6 у нас 6X READ Speed, при RAID50 ... тоже 6X READ Speed! (у тебя одна суммы пойдут на группу raid0). RAID50 не существенно быстрее, он только _на_ запись быстрее. НО при этом за счет того, что у тебя контрольные суммы лежат на страйпе, у тебя повышается вероятность вылета! Т.е. ты получаешь производительность на запись в ущерб надежности. В отличие от RAID5 vs RAID6, ты еще больше ухудшил ситуацию с надежностью.

и так же неточно ты пишешь по всему треду! делаешь неточные заявления, а по сути ошибочные заявления, а потом удивляешься, почему Lordwind не оценил.

я так понимаю, что у чела достаточно скилов, чтобы пустить пыль в глаза и ему доверили серьезные железки, а в реальности не достаточно, чтобы не угробить данные на них («ну какая это авария»).

чуток ошибся, правильно будет:
вероятность ошибки прочтения всего диска:
10*10^12/(10^15/8)=0.08 (8%)

угу, я схожу на их сайт и вникну чуть погодя

А потом удивляются почему на дорогах трэш. А тут такой же случай. Машину купил, права купил, водить не купил. Проблеме уже дохрена лет:

https://www.zdnet.com/article/why-raid-5-stops-working-in-2009/

https://www.zdnet.com/article/has-raid5-stopped-working/

линейная скорость чтения одинакова для обоих рейдов
random read у raid50 выше существенно чем у raid6

давай прикинем вероятность успеха ребилда для корзины из 8 шпинделей по 10Тб, в случае raid6 vs raid50
вероятность ошибки чтения 1 диска 10*10^12/(10^15/8)=0.08 (8%)
вероятность прочтения 1 диска = 100-8=92%
для ребилда raid6 достаточно прочитать данные с 6 дисков, т.е. вероятность успеха 0.92^6=0.61(61%)
для raid50 данные нужно считать с 3-х, т.е. вероятность успеха 0.92^3=0.78(78%)

у тебя повышается вероятность вылета!

а посчитай конкретную вероятность для 8 шпинделей для обоих вариантов raid50 и raid6
на сколько она выше?

и так же неточно ты пишешь по всему треду! делаешь неточные заявления, а по сути ошибочные заявления, а потом удивляешься, почему Lordwind не оценил.

приведи мне точные оценки вероятностей.
этот чел не смог.

а посчитай конкретную вероятность для 8 шпинделей для обоих вариантов raid50 и raid6
на сколько она выше?

ок, помоги мне с математикой. вполне очевидно, что ты повышаешь шансы на вылет группы с четностью при страйпе на 50%. если используешь несколько групп страйпов, то повышаешь шансы на вылет для всего массива еще больше. но вспоминать точную математику... нет. прикидки достаточно очевидные уже сами по себе.

random read у raid50 выше существенно чем у raid6

может быть. и чем это обусловлено?

Эт все хорошо. Но таки еще важны количество и емкость. Для 8 дисков я предпочту 6+HS (итого 5 дисков с данными), а не 50 (3 диска с данными).

А так от задачи надо. Где-то рейд нахрен не нужен, а где-то его и заменить нечем особо.

ок, помоги мне с математикой

мне бы кто помог
для raid6 просто вычисляется.
для raid50 не так просто, худший случай посчитать просто, а лучший и как их свести вместе у меня не хватает тяму по комбинаторике и теорверу.

может быть. и чем это обусловлено?

тем что это страйп из raid5.

Для начала не вырывай из контекста. Legioner написал: «сервер Dell + СХД другого производителя», я его поправил, что и сервера, и СХД, и ПО - всё можно от одного производителя.

Покупая вышеупомянутую связку Dell+EMC+WMVare ты переплачиваешь не за «бренд», а за перекладывание ответственности за несовместимость со своих плеч (во время запуска) и плеч заказчика (потом) на плечи дистрибьютора. Если сервера от супермикро хреново будут работать с СХД от Huawei под управлением операционки от Red Hat, в случае неординарных проблем тебя будут пинать от одного ко второму, ибо совместимости между всем этим ни кто не гарантировал. Здесь же ты к одному придёшь с претензией «ваше ПО на вашем железе ведёт себя не так, как вами заявлено».

Чтобы понять, важнее заказчику переплатить сейчас за железо и софт, или переплатить за сопровождение потом - это надо конкретное ТЗ рассматривать.

тем что это страйп из raid5

страйп означает, что ты можешь одновременно считать пару треков с разных дисков, но это ничего не говорит об алгоритме балансировки при чтении. а вот при записи это гарантирует рендомную мешанину из кусков даже в случае с линейной записью больших данных.

у меня не хватает тяму по комбинаторике и теорверу.

отсюда вывод, как и в случае с вылетом пачки дисков, что мое гуманитарное образование дает тот же результат=)

Но таки еще важны количество и емкость

ну да, точную оценку без количества и емкости не вывести.

Для 8 дисков я предпочту 6+HS (итого 5 дисков с данными)

ок,

а не 50 (3 диска с данными).

не, ты путаешь с 51
2*raid5(3+1) это 6 дисков с данными

А так от задачи надо.

а кто спорит?
у меня эта 8х4Тб дисковая корзина под бэкапы и дистры стоит
а данных там на один диск только наберется
и думаю зря я там raidz2 сделал, надо 3-way или 4-way mirror сделать для надежности. =)

и думаю зря я там raidz2 сделал, надо 3-way или 4-way mirror сделать для надежности. =)

может, все-таки дц сменить?) в наших дц такая хрень с кондерами - рядовое явление даже в элитных. на западе арендую в бюджетном дц - 10 лет ничего подобного.

Тупанул ага.

Надо еще раз крепко подумать над математикой. Пересобрать том возможно.

правильно, и чем больше страйпов, тем вероятность что запрашиваемые данные находятся на разных и их можно считать одновременно - выше.

в тех же беспрактисах по zfs тоже рекомендуют не делать широких рейдов, а делать страйпы из узких
но не только из-за random read
если взять пример выше с 10тб диском и посчитать успешность ребилда raid6 для 14+2 шпинделей
получится ваще 0.92^14=31%
как жить %)

у меня техническое, но эти дисциплины я проэтосамил =))

дц это громко сказано
наш дц это 2 заводских серверных =))
к нам РТ уже заходил с предложением перехода в облака
был послан СБ в эти самые облака =)

не делать широких рейдов, а делать страйпы из узких

в каком смысле «узкий» и «широкий»? как это на правильном языке?

запрашиваемые данные находятся на разных и их можно считать одновременно - выше

смотри, у нас задача считать 12 чанков данных. это те чанки, что рейд контроллер определяет в единицу времени. ты можешь их считывать параллельно, можешь последовательно. если отдать ты их должен целиком, то разницы никакой. на дисках данные всеравно раскиданы, как попало. поэтому твое утверждение может быть верно только при определенном виде нагрузки, наверное. мелкие файлы, 64к типа. может, для бд.

наш дц это 2 заводских серверных =))

ну, я же говорю, в этом корень всех твоих бед. перейди в нормальный дц и сразу перестанешь писать, что рейд всеравно бесполезен.=)

Не думаю, что твоя математика верна. Диски оперируют блоками, а не битами. И (не)читаться будет целый блок, а не отдельный бит. Т.е. будет сразу, например, 32768 ошибочных битов. Это значит, что до этого будет статистически успешно прочитано 1e15 * 32768 битов или 3725290 терабайтов. Т.е. шанс неуспешно прочитать 10-терабайтный диск ничтожно мал.

в каком смысле «узкий» и «широкий»? как это на правильном языке?

так это и есть правильный
термин stripe width не знаешь?
пример для 16hd:
вместо 1*raid6(14+2), 2*raid6(6+2), т.е. raid60
для 24hd: 3*raid6(6+2)

ты можешь их считывать параллельно, можешь последовательно. если отдать ты их должен целиком, то разницы никакой

как никакой?!
параллельно читается быстрее, разве нет?
мы по-моему имеем ввиду разные вещи
погугли тесты random io performance raid6 vs raid50

stripe width знаю. но заметь, это не raid width.

а это не моя математика, это математика из этих статей Почему RAID 6 не популярен? (комментарий)
и она верна, ну или я не нашел опровержений этим выкладкам. найдешь - дай знать.

диски пишут и читают биты. это контроллер принимает и отдаёт их блоками.
на блин пишется цепочка битов данных + цепочка битов коррекции ошибок. емнип там используется коды Рида-Соломона.

Так 6 или 50 брать?)

Опровержение найти просто - берёшь диск и читаешь его. Никаких ошибок не будет. У меня NAS из 16 TB дома уже много лет, ошибок на нём отродясь не было. Что противоречит твоим процентам.

Ну даже 1000 успешных практик не опровергают корректные теоретические выкладки. Если они корректны.

«Неисправимых ошибок чтения/прочитанных бит: 1 ошибка на 1E15 (10 в 15-й степени) бит»

Можно ссылку на спецификацию с таким параметром? А то я кроме AFR ничего найти не смог.

Если практика опровергает теорию, значит теория неверна. Все эти теории написаны без участия специалистов со стороны производителей ЖД, которые досконально знают, что именно означают эти цифры процента отказов и тд. А поэтому это просто жонглирование цифрами без полного понимания.

погугли тесты random io performance raid6 vs raid50

пожалуйста.

https://louwrentius.com/static/images/fio/Random-4K-read-performance-iops.svg

https://louwrentius.com/benchmark-results-of-random-io-performance-of-differe...

видишь? вот тебе случай random read, когда разница практически отсутствует даже на raid0 vs raid5.

там на write разница.

Нет. В статистике единичные практики не значат ничего. У тебя монетка может 100 раз на ребро встать. И что? И ничего.

ты гарантируешь что не будет? =)
параметр UER это не гарантированная 1 ошибка на 10^15 бит
это вероятность ошибки.
то что конкретно у тебя стоит, к вероятности отношения не имет, тебе повезло, у тебя не было, а у того чувака, который купил диски одного урожая - рейд посыпался — не повезло, вероятность она такая.

да, еще раз — проценты не мои.
прочитай статью, вооружись теорвером и посчитай вероятность для 10тб диска с UER 1/10^15.
найдешь ошибку - пиши.

параметр UER это не гарантированная 1 ошибка на 10^15 бит

Дай ссылку на спецификацию с таким параметром. А то похоже, что ты ошибся в 32768 раз.

бери 0
Легионер гарантирует =)