Нужен совет по железу(контроллеру) для RAID5.

хочется странного - берется sas контроллер (лучше hba) и на нем собирается софтрэйд нужного уровня из нужного кол-ва дисков.

машину лучше с ЕСС памятью, чтобы потом не было сюрпризов.

брать каку с али - я бы не стал.

и да, если на рэйд5 один из дисков вывалился а на втором бэдблолк - привет потеря данных. потому лучше рэйд6 сразу делать.

Спасибо

«хочется странного» - не исключено

память - да, и она такая и есть

рейд6 - согласен (если уж я говорю о важности сохранения данных - то время на восстановление уже не в приоритете должно быть) Посмотрел на SAS контроллеры hba - максимально поддерживают до 8 устройств, возможно я не в той ценовой категории смотрел но выше 50 тыр не заглядывал. То есть в массиве не сможет быть более 8 дисков? Ну это я покопаю еще.

И остается открытым вопрос - каким надежным способом(если не рассматривать каку с али) подключить 10-16 HDD к материнской плате? Если есть мысли - рад услышать буду я

каким надежным способом(если не рассматривать каку с али) подключить 10-16 HDD к материнской плате?

https://www.asrock.com//mb/Intel/Z87 Extreme11ac/

У современных дисков на многотерабайт объем сопоставим с их Unrecoverable Read Error Rate. Это значит что пятерка с очень большим шансом будет разваливаться до окончания синка, т.е. данные ты будешь терять быстро и много, одумайся пока не поздно.

время на восстановление уже не в приоритете должно быть

Время на восстановление не в приоритете пока индикатор не начинает показывать ETA в несколько лет

6 hdd по 18тб

Есть желание сделать Raid 5

Лучшее средство потерять все данные.

Всё ок видит, правда если вместо выключения пк отправить в сон систему - то 50/50 диски на этом нонеймм контроллере не проснуться - помогает только перезагрузка системы.

ИМХО сон и большой массив - не совсем совместимые вещи.

Купи 9300-16i + кабели на вторичке у нормального продавца и делай, например, raidz2

A raidz2 это сильно отличается от raid6? Но да, я смотрел на z2 в TrueNAS - это можно и очевидно по мнению общества и даже нужно

Про сон - приму к сведенью, выключать все равно приходится пока.

«Купи 9300-16i» - такой market.yandex это нормально ?

• каким надежным способом(если не рассматривать каку с али) подключить 10-16 HDD к материнской плате?

Чисто моё мнение, что иногда проще поставить две железки, чем пытаться всё собрать на одной, надёжнее, удобнее и, в конечном итоге, дешевле.

Да. Или 9400-16i, походи по официальному сайту, подбери нужное.

На вторичке я 9300-8i покупал за 5тр.

И еще вопрос, вероятно классика жанра, но спрошу для собственного понимания - если контроллер умирает - то нужен такой же? Если да то выходит покупать надо два сразу - один в запас

Если RAID-контроллер умирает, надо либо точно такой же, либо близкий (метаданные хранятся на дисках, совместимость есть)

Если умирает HBA (9300-16i/9400-16i), покупаешь любой HBA на замену, HBA не собирает массив.

Конечно, классика жанра умерший старые рейд контроллер и бегающие в адской панике админы не понимающие, как достать данные.

в запас - это всегда надо для минимизации простоя.

если собираешь рейд в режиме hba средствами ОС, то зависимость от марки контроллера снижается - ведь он не выполняет никаких действий, кроме подключения дисков.

Есть LSI HBA и на 16 внутренних портов https://www.avito.ru/moskva/tovary_dlya_kompyutera/kontroller_lsi_sas_9201-16i_6gbps_hba_na_16_hdd_1798552921

Наверное у продавца есть и четырехголовые кабели.

Только надо иметь в виду, что разъём у контроллера pcie x8. Его надо вставлять либо в x8, либо в x16 слот на материнке. Ну либо нужен open ended слот.

Я прям захотел её ))

Это уже древний HBA (из 2011 года), имеет недостатки (кроме времени). Но недорогой, да

никто не мешает 2 (3, 4…) контроллера поставить. HBA - это host bus adapter. грубо - сата контроллер, только сас.

Только надо иметь в виду, что разъём у контроллера pcie x8. Его надо вставлять либо в x8, либо в x16 слот на материнке. Ну либо нужен open ended слот.

берется любой слот. отпиливается ему жопа. и все работает…

ну или в слоте контроллера прорезается пропил, если он с помойки за копейки и его менее жалко чем мамку.

Чтобы ничего не переносить есть SnapRAID

как же тогда данные на одиночных дисках не теряются в процессе их заполнения?)))

В мире серверов и СХД никто не делает RAID-5 на SATA-дисках такого объема. При ребилде возрастает нагрузка на остальные диски, и может выйти из строя второй диск.
RAID-5 для SATA закончился на дисках 1TB.

берется любой слот. отпиливается ему жопа.

и PCIe x16 плата упирается в радиатор чипсета или конденсатор.

каким железом в серверах поддерживается огромное количества дисков в стойках.

Погуглите про дисковые полки и СХД — это отдельные железяки, прикручиваемые в стойку. Некоторые на расстоянии похоже на сервера, но другие внутри. Плюс, для SAS существует понятие expander == разветвитель портов. Там (у SAS) это всё штатно, на уровне протокола,

А что сейчас используют в мире серверов и СХД?

Для SATA-дисков такого объема - RAID-6.

Тред не читал.

Софтовый рейд не может считаться рейдом.

Дешево и сердито - купить адаптек какой на пси-х. Желательно с кешем с батарейкой.

Все прочее это профанация

При таком способе переноса, как ты описал, построение raid5 из 3-х дисков, перенос части данных, высвобождение диска, добавление в новый массив и расширение велик шанс, что ты потеряешь все данные.

Т.к. при уменьшении или увеличении массива raid5 идёт его перестройка, пересчет и перераспределение блоков контрольных сумм.

Т.е. перестройка у тебя пройдет x2 раза, при извлечении диска из старого массива и при добавлении в новый массив.

При перестройке по сути перезаписывается заново по всем дискам весь объем массива.

Если не хочешь потерять данные - лучше купи сразу нужное количество новых дисков, видимо равное количеству и размеру дисков в большем из имеющихся массивов.

Собери его сразу, скопируй данные, освободи диски большего размера из старого массива, собери его и скопируй остаток данных, ты получишь два новых raid5 массива большего размера.

Перераспредели данные.

Если хардварный контролёр рейда навороченный и сгорит, то придется долго и дорого искать такой-же. По этому лучше рейд софтварный собирать и покупать CPU помощнее.

Для безопасности: dm-crypt, raid, LVM, FS. Именно в таком порядке.

У меня аппаратные рейды дохли. Приходилось данные восстанавливать с бекапа. Рейд показывал что сдох один диск, начинал перестраивался во время сильной загрузки посреди рабочего дня и дох другой диск… Причины не знаю, может от старости, 3-5 лет поработают без ошибок, а потом эффект домино. Сегодня забочусь о качестве электричества. Софтварные рейды не дохли ни разу.

Сегодня делаю или софтварный raid2 или drbd. Надёжность восстановления железобетонна под любой нагрузкой.

они теряются, просто ты об этом не знаешь. и что плоский диск в отличие от массива с чередованием не выходит из строя до ресинка на каждой ошибке io

https://aliexpress.ru/item/1005007384895265.html более новый low profile

https://aliexpress.ru/item/1005005485314377.html - более старый, «высокий».

Магазин более-менее проверенный.

они теряются, просто ты об этом не знаешь

ну да, волшебные диски которые после записи нельзя считать целиком)))

и что плоский диск в отличие от массива с чередованием не выходит из строя до ресинка на каждой ошибке io

рэйд (софтрэйд как минимум) тоже при ошибке i/o не выходит из строя и не делает полный ресинк. при невозможности прочитать блок - рэйд просто восстанавливает блок благодаря избыточности, и записывает его взад на проблемный диск.

У современных дисков на многотерабайт BER 10^-16. Но это не повод делать RAID5 из 16 дисков, конечно же.

ну да, волшебные диски которые после записи нельзя считать целиком)))

Считать, считаешь, но не обязательно то, что записал. Один бит может быть инвертирован.

не может. если избыточности не хватает для устранения ошибок считывания - сектор просто не прочитается. это ж не магнитофонная лента от спектрума…

Значит прочитает блок с несколькими инвертированными битами, которые не может определить коррекция ошибок. Еще аппаратная логика диска может глюкнуть при прочтении, проверке и пересылке такого количества данных. Это тоже в ходит в этот «показатель надежности».

RAID 6. RAID 5 не поможет.

нет, не прочтет. там ДЕСЯТКИ бит на 4к сектор для коррекции данных, обнаружение нескорректированных ошибок - НАМНОГО больше.

или софтварный raid2 или drbd

Действительно RAID-2 или RAID-Z2?

Прочитает десятки битфлипов и не заметит. Там итак уже все работает на грани возможностей коррекции ошибок, любой блок читается с ошибками, просто хватает избыточности для коррекции. Если не хватает для коррекции, то хватает для детекции - для повторного чтения. При стечении обстоятельств, прочитается блок с серией ошибочных бит и детекция не сработает.

Это только про чтение. Запись тоже происходит с ошибками. Всё это друг на друга накладывается.

Про битфлипы в логике/контролере промолчу.

кто-нибудь уже говорил, что рэйд5 — гарантированный способ потерять данные?

Нет, ты первый :-))

кодами коррекции детектируется в разы больше ошибок, чем корректируется. так что мимо.

ну и да, вы же свои глубокомысленные выводы хотя бы подтверждали на практике прогоном badblocks -w на подобном диске? или это - голые размышления, основанные на непонимании того как считаются параметры из даташита диска?)))

badblocks -w

На многотеррабайтном диске с средней скоростью 50-100Мб/с?!

Сколько недель-месяцев ждать?

Опечатался имел ввиду raid1 - простое зеркало двух дисков. При простом зеркале в случае выхода из строя одного диска нет возрастания нагрузки на оставшийся в рейде диск. Тоже самое с drbd при выходе из строя одного узла нет никакой нагрузки на перестройку кластера (в случае если не было режима балансировки нагрузки), простое зеркало.

Мне кажется, что возможно есть проблема с заменой уставших, старых дисков в raid массивах под нагрузкой. Если кластер, то для замены диска в рейде можно вывести ноду, а так можно ждать вечера и снижения нагрузки..

ну так и знал - это было обычное газирование луж, основанное на полном непонимании методологии и не подтвержденное практикой)))

скорость записи у дисков давно под 200 МБ/с. и при 200 МБ/с 18 ТБ запишется всего за 25 часов, + столько же на чтение.

не подтвержденное практикой

Моя практика в том, что райд5 на много дисков (5+) умирает при замене (сбойного) диска.

скорость записи у дисков давно под 200 МБ/с

Читать записанное кто будет? Практик, показывай давай скорость badblock -w на многоТБ диске, который скорее всего еще окажется SMR (где наложение дорожек, из-за чего по опредлению будет читаться с искажениями, хорошо если избыточности хватит для коррекции)

Моя практика в том, что райд5 на много дисков (5+) умирает при замене (сбойного) диска.

а вы периодический ресинк небось не делаете?))) и сбойный диск находите только тогда, когда он уже полностью разваливается?)))

Читать записанное кто будет?

badblocks же. badblocks -w - пишет паттерн, а потом его читает. 4 цикла с разными паттернами. внезапно, не правда ли?

Практик, показывай давай скорость badblock -w на многоТБ диске

1-2ТБ уже показывали 180 МБ/с чтение/запись. у более свежих скорости еще выше.

SMR (где наложение дорожек, из-за чего по опредлению будет читаться с искажениями, хорошо если избыточности хватит для коррекции)

бред же, отборный. или вы не в курсе что ширина магнитного поля пишущей головы больше чем ширина зазора считывающей головы, потому и SMR внедрили?)))

1-2ТБ уже показывали 180 МБ/с чтение/запись.

Мне не нужно абстрактные чтение/запись.

Мне нужна скорость работы badblocks -w, особенно на smr дисках. Особенно честная запись блока на диск, и честное чтениие с диска, а не с огромного кеша. Иначе это не про тестирование диска, а тестирование кеша диска.

ширина магнитного поля пишущей головы больше чем ширина зазора считывающей головы

Перекрытие есть. Читает край записанной дорожки и не с центра дорожки, где более надежная запись.

Мне нужна скорость работы badblocks -w, особенно на smr дисках. Особенно честная запись блока на диск, и честное чтениие с диска, а не с огромного кеша. Иначе это не про тестирование диска, а тестирование кеша диска.

ок, купите мне SMR диск, проведу вам тесты. за свои деньги покупать мусор смысла не вижу.

Перекрытие есть. Читает край записанной дорожки и не с центра дорожки, где более надежная запись.

и что, что перекрытие?

повторяю еще раз: ширина дорожки, записанной пишущей головкой, больше, чем ширина зазора считывающей головы. и потому пофиг где там считывающая голова читает - по центру, или сбоку.

ок, купите мне SMR диск, проведу вам тесты.

Не важно. Я свои нетеррабайтные дисках проверял, скорость около 50-100Мб/с по iotop. Прервал через 2 часа, так как судя по прогрессу, надо ждать пару-тройку суток.