Почему RAID 6 не популярен?

а вместо RAID-6 лучше делать RAID-50
перформанс выше и т.к. имеется несколько групп RAID-5, то вероятность что следующий вылетевший во время ребилда диск окажется в этой же группе ниже.
да и при современных объёмах одного диска рейды не актуальны.
в больших энтерпрайзах рулит распределённые и параллельные: цеф, гластер, люстра итд.

Если у тебя есть такая оптимизация, тогда зачем и в RAID-[56] читать все чанки? Чтобы проверить чётность? А дальше что ты с ней будешь делать? Классический рейд ведь реагирует только на вылет диска или ошибку чтения, потому что ни на что другое он правильно отреагировать принципиально не в состоянии.

тогда зачем и в RAID-[56] читать все чанки? Чтобы проверить чётность?

Ээээ… да…

А дальше что ты с ней будешь делать?

принимать решение о наличии ошибки, о возможности ее корректировки. Принимать решение о том, жив или нет массив.

Возможно, что я не прав и оно проверят четность, только когда диск говорит, что дохнет.

В гуях контроллера я видел галку вроде «регулярно проверять данные в простое». Типа вычитывать и смотреть. Перемещать. Но не помню точную формулировку.

ОУКЕЙ, видимо, моя инфа устарела.

RAID6 по емкости на шпиндель равень RAID5+Spare, но RAID5+Spare немного быстрее в работе и чуть сильнее быстрее при востановлении.

Но R6+HS как-то теплее на душе.

Spare - это не то.

Да уж, аргумент.

и чуть сильнее быстрее при востановлении.

Но не всегда. Иногда восстановиться не успевает, бгг ))

Spare никакой защиты не даёт, просто диск бестолку крутится и ждёт своего часа. А если он отломается раньше массива?

ты бы замеры random read сделал бы.

Пофиг. MD ничего не проверяет при чтении, а при записи же он субстрайп PAGE_SIZE пишет. Единственная проблема у 4/5/6 рейда у MD в том, что вся запись через один тред идёт по-умолчанию, а c group_thread_count иногда дедлоки случаются. Хотя, может, пофиксили уже.

сервер за 20 тысяч

Ржу. Нормальные наушники и то дороже.

их клиентов с raid 5 за всё время ни разу не возникало описываемой проблемы

У меня скраб массива на 50 Тб раз в квартал каждый раз восстанавливает пару Мб каких-то данных. При том что бэдблоков нет и все железо исправно. Что на это скажет ваш google и so?

А память с ECC?

при современных объёмах одного диска рейды не актуальны

Если у вас лично нет денег, то не нужно писать, что рейды не актуальны.

Конечно

Странно. А что за массив? И контроллер?

Основной Raid-z2 на Dell Perc H200 из 8+2 дисков

Некорректные выключения бывают?

Спасибо, не знал.

Кому-то и провода за миллион продают.

Не обязательно крутится кстати.

Для каких задач тебе нужен рейд. Ответь на этот вопрос и отпадут остальные вопросы.

Если он отломается от того, что крутится, радоваться надо.

Во-первых нет, во-вторых на zfs это не влияет

Кто-то и с помойки ест

Настраивают реплику в постгресе и если один сервер ломается то продолжают лететь на втором. И всё

Во-первых, очень популярен в виде raidz2.

Во-вторых, ты уже сам все понял про fakeraid начального уровня )

У меня 6й на 8 дисках. Пока во всем приятнее ссд.

Не знаю, советовали уже или нет (всю тему так и не прочёл), но можно в дополнение к рейду поставить SSD для кеширования данных с помощью bcache. При правильной настройке он как минимум разгружает массив на чтение маленькими блоками. В итоге получите часть преимуществ SSD по скоростям доступа к мелким файлам + все преимущества рейда.

Как-то это не надёжно. Оно же ломается недетерминированно, если не контролировать ввод/вывод на нижнем уровне. Не думаю, что так разумно делать. Разве что настроить какой-нибудь демон, который при первом же I/O error от ядра сразу делает halt всему серверу.

При чем здесь ядро? Этим сам постгрес занимается.

принимать решение о наличии ошибки, о возможности ее корректировки

MD в линуксе этого не делает. Причина простая - он не знает «где истина» - то есть неизвестно, в данных ошибка или в чётности. Но под RAID можно положить (например) dm-integrity и тогда можно предполагать «если данные прочтены - они валидны». Но конструктор получается тот ещё.

Это и в MD есть - он периодически прочитывает массив и проверяет что зеркала и контрольные суммы совпадают

HP, DELL - это не бренды в области СХД. В лучшем случае, брендированные изделия.

У DELL ведь теперь EMC. Или EMC тоже не брэнд?
А у HP есть 3PAR. Вполне себе бренд.

Постгрес не узнает, что у тебя systemd юнит свалился из-за I/O ошибки и бэкапы теперь не работают.

RAID-5/6 никогда не вычитывает полный страйп.
Так делает только RAID-3.

А мне даром не надо :) У меня самые мелкие файлы - десятки мегабайт. И доступ однопользовательский. Вот когда 10-20тб ссд будут дешевые, тогда я выкину этот рейд.

Это просто хранилка, которая:

• быстрая
• страхует от поломки конкретного накопителя
• кратно дешевле аналога на ссд

Да, я понял, что был не прав.

Т.е. он не страхует от теоретической ситуации, когда диск отдаёт не то, что на нём было записано?

Контроллер сдохнет и всё, пока не найдешь такой же ничего работать не будет. А так контролер юзали чтобы подключить много дисков а рейд уже делали через mdadm

Да. Если четность записана неправильно, то это не будет замечено до тех пор, пока не сломается диск и не произойдет ребилд (проблема write hole).

Зато правильно реализованный RAID-5/6 на чтение будет как RAID-0.

Кто рекомендует? специалисты с местного сайта?

Расскажи как ты будешь восстанавливать аппаратный рейд, интересно послушать.

Во-первых нет, во-вторых на zfs это не влияет

Возможна ситуация, когда данные из внутреннего буфера диска могут не успеть записаться на носитель. Диски врут по поводу окончания синхронной записи. Проявляется на десктопных SSD, которые очень часто используют в качестве SLOG на ZFS. Этой проблемы лишены SSD enterprise уровня, на которых есть конденсаторы, которые используются для аварийного сброса кэша в момент отключения питания.

Ух, прочитал тут:

Scrubs do what you expect: every bit of data will be read, have its parity calculated, and compared against the stored parity data. However, in the event of a mismatch, Linux md RAID6 does not attempt to reconstruct correct data based on the RAID6 double-parity information: instead, it assumes that the data disks are correct, and it blindly overwrites the parity information to reflect the currently-stored data.

Что-то я думал лучше о md.

Контроллер сдохнет и всё, пока не найдешь такой же ничего работать не будет.

Метаданные у адаптека или lsi кардинально не меняются, откуда эта байка про точно такой же контроллер? Импортировать можно будет с большой долей вероятности. А если не можно - ну raid не бэкап же.

2. Если ОС вылетела, то
3. Если свет выключили, то
4. ...

Вопрос от профана, а если по истечении очень догого срока контроллер сгорел, а нового нет в продаже?
Софтрейд можно переустановить и пересобрать на другой ОС, а вот другие контроллеры, особенно других производителей аппаратный рейд прочитать смогут, или надо бегать и искать аутентичный контроллер или хотя бы хоть чуть чуть с ним совместимый?

И ещё, на софтрейде можно сделать следующее:

Если заблаговременно или пусть бы даже и по факиу сбоя выявить выходящий из строя диск, то пока этот диск не сломался его можно с помощью dd отзеркалировать на новый и потом заменить и на всякий случай запустить поиск ошибок.
А вот с аппаратным контроллером это сработает?

В целом я склоняюсь к RAID-5, почитал интернеты, пишут, что для SSD Raid-5 это вообще нормально.

нет-нет, рейд5 - это так себе. не советую.

я советовал кешировать на SSD

Почему RAID 6 не популярен? (комментарий)

но ТС заявил (см. его ответ), что думать не готов.