Пути создания Raid массивов

Настраивай в raid в биосе материнки, всяко лучше линуксового софтварного.

1024 дисков

Что? Ты в своем уме?

А чем лучше? Встроенные в материнку контроллеры больше всего ругают почему-то.

херню он говорит, либо софт рейд либо нормальный ентерпрайз контроллер

В описании HBA указано 1024 устройства, я что сделаю)

man sas expander

1. Да и нет. В обычном режиме не медленнее. Но ежемесячный recheck сделате тебя грустрым пандой. Аппаратную батарейку ты программно не эмулируешь. Если комп домашний или денег нет и раз в месяц переживешь тормоза, можно использовать mdadm. В других случаях лучше купить аппаратный

2. Независимы - да. Надёжнее - нет (та же батарейка)

Надеюсь, это сарказм. Встроенные в системную плату контроллеры рейда это дно

Понятно, через sas экспандеры в общем подключать. Но их все равно куда-то нужно вставлять, столько мне не влезет)

Благодарю. Еще бы знать, что такое recheck. Типа фрагментации диска что-то?

Recheck - это регулярная ПОЛНАЯ посекторная проверка содержимого рейда на ошибки. Считай это аналогом(пусть и грубым) fsck

Чо? А после запуска ОС кто им, этом «не линуксовым софтверным» рейдом рулить начинает? (подсказка: на m начинается, на dadm кончается)

Если у тебя HBA , используй ZFS , это надёжнее всяких аппаратных и софтрейд-ов

Чо за удивленная тян на аватаре?

Аппаратную батарейку можно эмулировать аппаратным бесперебойником :)

Аппаратная батарейка прекраснейше теряет ёмкость со временем без симптомов со стороны контроллера. То есть она типа есть, напряжение на ней есть, а ёмкость 0. И выясняется это как раз в тот самый момент… Иллюзия безопасности хуже чувства небезопасности.

А что их ругать? Простые HBA, весь рейд делается софтом, биос только прописывает заголовки на диски, каковые заголовки потом читаются mdadm и далее по тексту.

Встроенные в системную плату контроллеры рейда это дно

Согласен. 90 проц апаратных это fake RAID. Сервер с настоящим аппаратным раидом очень дорог.

Это надо на BSD переходить, как я понял, а я хочу убунту оставить. Но два диска хочу попробовать в linear RAID объединить. Тян в шоке от системного администрирования, как и я)

Зачем на bsd? В последней лтс бубунте можно прям в инсталлере zfs выбрать.

Из какого аниме тян то? Что знакомое, но не могу распарсить:)

Хотя.. Если ты nas собираешь, лучше вместо линукса truenas core поставить.

ZFS.

А хардовый контроллер сам это делает, получается? Там же тоже могут быть ошибки какие-то.

Там еще и скрипты кое-какие будут крутиться, так что линукс мне критичен. Про ZFS буду копать теперь, что да как.

Думаешь на фре другие скриптовые языки? =)
Просто фря в ситуации Memory Pressure более отзывчиво себя ведёт.

Думаю все немного отличается. А я только только в убунте освоился.

Настраивай в raid в биосе материнки, всяко лучше линуксового софтварного.

Ты сейчас написал чушь. Хотя, может быть, тебе уже про это написали.

1.

Ответ сложен, надо тестировать. Но следует помнить, что ядра могут всё равно быть чем-то заняты, и тогда всё будет плохо. В общем случае медленнее, по крайней мере md. Может быть с zfs-raid иначе, не пробовал.

2.

Тут да.

Если тебе для raid 0 / 1 / 10 на двух-четырех дисках, то хоть LVM. Только там с обвязкой для восстановления и мониторингом чуть похуже чем у mdadm. Если сложный raid с рассчетом чексумм - лучше аппаратный, иначе в случае вылета диска тебе будет нужно выделить львиную долю процессора на время восстановления массива. Даже в случае вылета диска из raid 1 - прокачать через шины/память/CPU целый диск чтобы засинкать рейд это нифига не дешево для системы. Гораздо лучше если это говно не будет покидать рейд-контроллер (собственно «аппаратный raid» встроенный в мат.платы частично решает эту задачу [нет]).

Если у тебя два SSD по 250гб - юзай mdadm или lvm. А если 4 HDD по 10Тб в RAID5… ну ты понял.

много их, лучше всего аппаратное решение

если у тебя файлопомойка то совершенно без разницы кто будет ребилдить диски - ЦПУ или контроллер.
если профиль нагрузки подразумевает интенсивный вв/выв, то опять же пофиг, в обоих случаях он просядет.
самое интересное будет если сдохнет контроллер тебе нужно будет найти такой же чтобы получить доступ к данным

аппаратное не лучше и дороже

Это очень неправильный контроллер. Нормальные контроллеры проверяют заряд батарейки и выдают предупреждение, что ее надо менять заранее. А при низком заряде переключают кэш в write-through.

Я уж не говорю о том, что многие вендоры давно перешли с батареек на конденсаторы, которые не надо менять, как батарейки.

А вы заранее не знаете, правильный он или нет. Ёмкость проверяется же периодическим кратковременным подключением нагрузки, я сталкивался с такими зверушками, которые смотрят просто на напряжение с закономерным результатом.

Про recheck подробней можно? Ведь на аппаратном тоже есть по идее patrol read… - Ну и по идее mdadm должен в фоне делать recheck с низким приоритетом. - На практике так не выходит, но по идее как-то так :)

А вы заранее не знаете, правильный он или нет.

Наверное в инструкции должны писать. Утилита storcli умеет показывать такое:

# /usr/local/sbin/storcli64 /c0 /bbu show learn
Controller = 0
Status = Success
Description = Get BBU Learn Succeeded.


BBU Learn :
=========

------------------------------------------------------
Property           Value
------------------------------------------------------
Auto Learn Mode    Enabled
Schedule Time      MON, November 16, 2020 at 01:12:01
Interval           4 Weeks
Learn Cycle Active No
------------------------------------------------------

Расскажи, что за зверушки. Вендор, модель.

/usr/local/sbin/storcli64

Вот это ПО заслуживает отдельных лучей ненависти. Случалось ли у вас так, что оно вдруг начинает выполнять каждую команду по минуте, а некоторые команды упорно игнорирует? У меня случалось. Помогла только перезагрузка компьютера.
А об удобстве графического интерфейса к контроллерам LSI (или как их там сейчас зовут) лучше просто ничего не говорить.

Случалось ли у вас так, что оно вдруг начинает выполнять каждую команду по минуте

Нет. Но у меня только этот Intel RS25DB080. Запросто может от контроллера зависеть.

А об удобстве графического интерфейса к контроллерам LSI

Такой разве бывает? Там какая-то хрень для web предлагается, на сколько помню, но это стрёмно как минимум. Да и не нужно это всё на сервере, storcli более, чем достаточно.

Раньше там была программа на Java. Бесконечно тормозная и изрядно глючная. Конечно, случаев чтобы из-за нее массив развалился у меня небыло, но такое, что она вдруг зависала, встречалось довольно часто.

У тебя в слово «хуже» закралось три ошибки.

2 HDD по 14 ТБ хочу сделать в 28 ТБ, но пока не знаю как оптимально, чтобы при потере одного диска данные со второго остались, то есть Linear Raid. Насколько я понял LVM и mdadm это не позволяют сделать, только RAID 0. Вроде как можно в ZFS это реализовать, попробую сделать, если не получится то просто будут по отдельности примонтированны. Основная загвоздка в этом, в последовательном использовании дисков. С остальными то легко, raid 10 или raid 5 или ZFS RaidZ1 или даже ZFS RaidZ2, скорость мне не так важна там.

чтобы при потере одного диска данные со второго остались

Это тогда точно не аппаратные решения и не md-raid. Точно надо на zfs смотреть, или btrfs. Там вот может быть.

Вот пишут, как btrfs частично восстановить в этой ситуации:
https://unix.stackexchange.com/questions/340895/can-btrfs-recover-continue-af...

чтобы при потере одного диска данные со второго остались, то есть Linear Raid. Насколько я понял LVM и mdadm это не позволяют сделать, только RAID 0.

Запомни умник, в RAID0 выход из строя одного диска это потеря ВСЕХ данных на всех дисках. Иди читай доки.

тебе умник, следовало бы сначала понять смысл им написанного, а потом строчить свой очень полезный коммент.

Linear Raid

Ты я вижу не осилил слова Linear Raid? Слейся.

ты, я вижу, не осилил все предложение. Слейся сам.

не, с zfs такое тоже не прокатит.

Почему, если сделать пул из нескольких mirror, но в каждый добавить по 1 диску, то по идее должно получится. Так в теории и c linear raid и с LVM можно выдернуть целые файлы, но надо ковырять таблицы inod, а я нуб. И Проблема в том, что нигде особо не разделяют понятия Raid 0 и lianer raid, как можно это видеть выше. Поэтому только виртуалка, только эксперименты.

Поэтому только виртуалка

Зачем? Сделай пару разделов в файлах.