И снова вопрос «linux-raid или аппаратный»

Если это действительно аппаратный раид - то лучше его. Если это фейковый софт. раид - то лучше чисто линуксовый.

У контроллера 1 гиг кеша на борту. Гыгы, это так смешно...

zfs raid лучше.

Балин, ну есть же HBA у HP...

H220 SAS Host Bus Adapter (Internal only, supports tape, and SAS/SATA drives, non-array)

а оно уже готово?

Zfs под линукс? Нет.

Ты похоже раньше ни разу не видел аппаратный рейд, и по привычке путаешь его с домашними недорейдами

У аппаратного рейда свой процессов, и своя батарейка для кэша.

Можно конечно использовать вместо него софтовый, но я не вижу преимуществ

да и мониторить проще

hpacucli ctrl all show config

куда уж проще

в proliant support pack идёт модуль к snmp, который будет отдавать данные о рейдах в любую систему мониторинга. Готовые шаблоны опять же много где есть ещё со времён compaq

Да, при использовании программного рейда ты сам будешь настраивать с него загрузку и иметь геморрой с загрузкой после вылета диска

Свой процессор... Своя батарейка... Это было актуально 15 лет назад. Не вижу никаких преимуществ в аппаратном рейде. Лишняя прослойка. Да еще и со своей прошивкой. Зачем оно?

Да, при использовании программного рейда ты сам будешь настраивать с него загрузку и иметь геморрой с загрузкой после вылета диска

Какой кошмар, просто ужас [/сарказм]

Свой процессор... Своя батарейка... Это было актуально 15 лет назад. Не вижу никаких преимуществ в аппаратном рейде. Лишняя прослойка. Да еще и со своей прошивкой. Зачем оно?

Ясно. Когда будут увольнять, вспомни эти свои слова ;)

Фантазёр.

Может быть есть у кого дельные доводы в пользу аппаратного рейда? Пока еще можно переиграть...

Лучше, чем что?

Передо мной сейчас встаёт аналогичный сабжу вопрос, правда, дисков меньше (изначально вообще два и потом планирую докидывать по одному до шести). mdraid+XFS, btrfs или zfs?

Я вот на btrfs уже скока времени облизываюсь... Но как же блин страшно. Подтянул свой рабочий локалхост до ядра 4.2 из ppa, вроде виртуалки выжили. И даже работать можно. Корзину вторую поставил на 5 штук 3,5" нжмд. SAS HBA второй поставил. И тут, внезапно, мы начали запускать второй проект. А я уже блин собрался btrfs пощупать на 5 свободных шпинделях. С версиями самого btrfs какая-то непонятка. Посмотрел на его вики и ужаснулся. То ли они бухие в хлам писали, то ли я недостаточно бухой. У модуля своя версия, у утилит своя? В вики прямо рекомендуют использовать последнюю версию ядра, а что с утилитами управления? Опять же, последнее ядро из ppa в продакшен тоже страшно. А я пугливый... Чего делать-то? С другой стороны, запустить сейчас первый сервак в варианте «шоб работало», а резервный собрать уже по-правильному. Перевезти торговую систему на резервный и перерасковырять первую машину... ММммммда. Или ну его нахрен и собрать рейды силами p420i и оставить работать в таком виде... Как оно там в линупсе взаимодействует с кешами рейда? Есть общение или каждый кто во что горазд пашет? Кто бы совет бы дельный дал.

Кроме того, для использования на p420i дисков по-одному в ОС приходится в контроллере плодить кучу массивов 0 уровня. То есть, у контроллера 12 рейдов из одного диска каждый, а ОС уже из них собирает свои массивы. По-моему, это слегка крындец. Костыль воооооот такого размера. Мляха-муха, на что решиться-то...
Надо будет у хостера спросить, может они HBA смогут вкорячить. Мне тут подсказывают, что p420i вообще на матери распаян.

Кроме того, для использования на p420i дисков по-одному в ОС приходится в контроллере плодить кучу массивов 0 уровня. То есть, у контроллера 12 рейдов из одного диска каждый, а ОС уже из них собирает свои массивы.

Тогда юзай аппаратный. Что до кэшей — ну, там свой кэш, в линуксе свой. При fsync() всё уйдёт в кэш RAID-контроллера, а дальше как он сам решит.

Утро вечера мудренее. Поеду я домой, пожалуй.

на p420i дисков по-одному в ОС приходится в контроллере плодить кучу массивов 0 уровня

Там нет обычного JBOD?

Зачем оно?

Если тяжеловесные приложения находятся на том же хосте, что и рейд, то под большой нагрузкой софтовому рейду может не хватить ресурсов и весь сервер колом встанет.

У модуля своя версия, у утилит своя?

И что не так? У остальных фс аналогично же.

Там нет обычного JBOD?

неа

то под большой нагрузкой софтовому рейду может не хватить ресурсов

это возможно?

Раз уж не можешь решиться, то предлагаю компромиссный вариант: 4 x RAID-1 средствами контроллера, а поверх них RAID-0 средствами ОС =))
А вообще нефиг тут думать - P420i отлично поддерживается Linux, глупо его не использовать.

Да, видел такое у одного из заказчиков конторки, в которой работаю.

Может быть есть у кого дельные доводы в пользу аппаратного рейда ?

Тебе их уже назвали. Соростные характеристики полноценного хорошего аппаратного RAID ты на софт-раиде не получешь. Вообще никогда, ни с каким процессором. Минус только один: если контроллер помрёт, надо будет такой же, чтобы массив оживить.

Тогда однозначно делай raid средствами контроллера.

Соростные характеристики полноценного хорошего аппаратного RAID ты на софт-раиде не получешь. Вообще никогда, ни с каким процессором.

Это серьёзно? Кроме шуток?

это возможно ?

Легко и непринуждённо. Изучи /proc/interrupts на предмет того, где у тебя драйвер контроллера hdd висит и подумай, что произойдёт при большом потоке записи.

Поверю на слово. Спасибо.

Собственно говоря, это зависит от контроллера прерываний в немалой степени ещё. Некоторе допускают обработку прерывания на нескольких ядрах (по-умолчанию на всех тогда), некоторые только на одном. Последних сейчас большинство. В итоге драйвер HDD обслуживается одним ядром. Заметный поток данных может довести загрузку ядра до 100%. В этот момент LA уверенно полезет вверх и наступит, практически, коллапс. Что касается RAID, то там вся железка ориентирована на работу с носителем, а драйвер хоть и висит, так же, на одном ядре, но ядро обслуживает поток прерываний как будто от одного HDD. Их, грубо говоря, в N раз меньше, где N - количество HDD.

Всем спасибо за помощь, но есть один дополнительный вопрос. Стоит ли делать отдельный рейд (просто зеркало) под ОС? Чисто под ОС. Массив под образа виртуалок отдельно. Массив под storage отдельно. В смысле, стоит ли выносить ОС на отдельный шпиндель от шпинделей с виртуалками? На хосте не предполагается никаких других ролей, кроме виртуализации. Ну и локального хранилища под всякий холодный и полухолодный стафф.

Или стоит добавить эту пару шпинделей в общий массив, на котором и ОС и образа виртуалок?

А зачем вообще рейд под ОС? Её-то хоть с microSD грузить можно, один хрен у тебя рамы феерически много и всё в дисковом кэше осядет.

Затем, что остальное без ОС не работает, а дискам свойственно ломаться.

Стоит ли делать отдельный рейд (просто зеркало) под ОС ?

Если не жалко, я бы сделал. Но вот что надо точно, это один hdd оставить в качестве hot spare. И придумать, как мониторить, когда он задействуется.

Надо глянуть, что там с логикой хот-спейра. Можно ли один диск дать спейром нескольким массивам или нет. В любом случае, 12 шпинделей - маловато. Они же разные. 600 sas 15k и 2000 sata 7200. Если давать спейры под быстрые диски, то под хранилку совсем ничего останется.

все raid контроллеры дешевле 800$, это говно которое хуже чем btrfs/zfs raid. Мало того, что их сейчас стали делать с очень хреновыми платами, так ещё и кеш часто хуже чем держать в ddr3. А на счёт что лучше btrfs/zfs, будет зависеть от использования. Если у тебя там будут тупо данные, то можно и btrfs. Но перед обновлением ядра стоит посмотреть. Если же ты планируешь использовать большое кол-во виртуалок, и у тебя озу больше 16 гб, и ты сможешь выделить хотя бы 4 для zfs, то она однозначно. Недостаток zfs будет один, под fedora модуль работает менее стабильно чем под centos, и придётся использовать его, но зато возможности гораздо шире чем у btrfs. mdraid плюсов вообще не вижу уже, их могут увидеть только долго работавшие с ним и кому просто лень прочитать http://docs.oracle.com/cd/E18752_01/html/819-5461/zfsover-1.html

я под hypervisor всегда делаю зеркало из ssd.

Собсно современный драйвер megaraid в ядре делает себе прерываний по числу ядер, так что это уже не проблема. За хп не скажу, не юзал давно.

Только в данном случае это кусок говна, распаянный на маме.

Zfs под линукс? Нет.

схерали!

http://www.proxmox.com/en/

http://zfsonlinux.org/

http://pve.proxmox.com/wiki/Storage:_ZFS

Свой процессор... Своя батарейка... Это было актуально 15 лет назад.

петросян. )))

У меня, на самом деле, выбор между различными реализациями софтрейда (для аппаратного нет ни денег, ни необходимости). Там будут только данные, но я почитал сейчас про ZFS. Звучит очень вкусно. И что, оно действительно лучше, чем md+XFS?

(Алсо, на дисках разного размера можно гонять raidz?)

Аппаратный RAID контроллер только для RAID5,6 и иже с ними. Для остального (RAID0,1,10,01) с головой софтовый рейд.

1. Расскажи это Adaptec'у и LSI.
2. Зависит от конкретных тех. условий.

Не вижу никаких преимуществ в аппаратном рейде.

Значит, он тебе не нужен. ИМХО.

Собсно современный драйвер megaraid в ядре делает себе прерываний по числу ядер

megaraid 2.00.4 на одном, правда, наверное, это достаточно старый. А вот megasas, действительно, на всех. Может, если тогда диски по одному отдать, софтраид как-то и будет работать. Но, всё равно, стрёмно.

Только в данном случае это кусок говна, распаянный на маме.

В теме фигурирует p420i. Как ни распаивай, софтовым недораидом он не станет . Свой процессор никуда не денется, своя память отдельня - тоже.

Надо глянуть, что там с логикой хот-спейра.

То, что оно есть в принципе, пишут:
http://www8.hp.com/h20195/v2/GetPDF.aspx/c04111534.pdf

Аппаратный RAID контроллер только для RAID5,6 и иже с ними.
Для остального (RAID0,1,10,01) с головой софтовый рейд.

Я не видел большой разницы в тормозах на AHCI между RAID5 на 4x и RAID10 в режиме записи большого постоянного потока (экспериментировал со сбором статистики). Хотя и понятно, что с RAID5 должно быть хуже. Но было примерно одинаково плохо.