RAID массив на 24 SAS диска

Варианта два:

1. HBA controller

2. RAID controller + RAID expander

Современные RAID контроллеры часто (не не всегда) поддерживают режим HBA, так что сможешь попробовать оба варианта.

По скорости смотри datasheet к контроллеру.

Бери HBA https://storage.microsemi.com/ru-ru/products/

И не забудь про обдув этих чипов. Спечётся на счёт «раз».

Спасибо большое за помощь

Почитал про HBA

Подскажите, я правильно понимаю, что HBA это не рейд контроллер как таковой?

Т.е. если я беру HBA я буду видеть в системе все диски по отдельности, а дальше уже с помощью mdadm собираю массив?

Так?

если я беру HBA я буду видеть в системе все диски по отдельности

Да. И дальше делай с ними что хочешь. RAID, CEPH, DRBD etc. Любую хрень. Принципиальная в современных условиях разница между «аппаратным» рейдом и hba - это наличие у рейда набортного кэша с батарейкой. Оно переживает аварийную потерю питания. При построении системы на HBA учитывай риски потерия питания в процессе записи на носитель.

С другой стороны, строя систему хранения на HBA, силами OS, ты задействуешь всю мощь механизмов кеширований и планирований со стороны OS.

У нас все серваки обязательно на хороших упсах висят, так что с электричеством норм.

Вот это как раз здорово, что hba даёт возможность просто увидеть диски, потому что я всегда строил рейды на mdadm понимая что проще и лучше использовать процессорные мощности системы и оперативки, чем контроллера и кэша платы рейд контроллера.

В общем, я понял что HBA это мой выбор на текущий момент. Пошел курить мануалы)

Не забудь выделить диски под hot spare. При таком количестве шпинделей ребилды будут длиться сутками и неделями. Надо очень хорошо подумать что именно применить. Может вообще 10. Или 50. Если из RAID выбирать. Мне кажется какой-нибудь 6 может захлебнуться.

А вот тут подробнее, если можно.

Hot spare, это что, напомни плиз?

Я собирался именно Raid 6 собирать.

До сего момента у нас всегда были Raid 6, но обычно на 8-10 дисках. А на 24х я не пробовал.

Честно сказать к RAID 10 отношусь скептически, т.к. смущает возможность хоть и вылета 2х дисков, но по одному из каждой половины, в отличие от 2х любых в рейд 6. Кстати на моей практике за 12 лет пару раз было что отваливались 2 диска. Но Слава Богу, все норм обходилось.

Но щас возникла необходимость создать Raid массив на 24х SAS 3.5’ дисках.

А зачем делать массив на таком большом количестве дисков? Откуда именно такая необходимость? Не проблема XY ли это?

JFI: raid10 из 8 штук 15krpm ещё более 10 лет назад заруливал (причём с отрывом) 1 ssd intel x25-e. Сейчас IOPSы одиночного ssd подросли на несколько порядков.

Но щас возникла необходимость создать Raid массив на 24х SAS 3.5’ дисках.

Не надо так делать. Откуда такая идея возникла вообще?

Нужна дисковая полка с двумя sas экспандерами типа такой: https://www.aicipc.com/en/productdetail/46. У таких полок внутри уже готовая проводка для питания каждого диска и для подключения первого sas порта каждого диска к первому экспандеру, а второго sas порта каждого диска ко второму экспандеру. Ну и вентиляторы для охлаждения этого всего.

Нужно два sas hba контроллера для подключения к первому и второму sas экспандерам полки. В результате у хоста до каждого диска два независимых маршрута. Поэтому на хосте надо настроить multipathing.

Массив можно собрать средствами mdadm или lvm raid volumes. Raid10 2x12, raid50 3x8, raid60 6x4. Хорошими считаются конфигурации у которых полезный размер страйпа имеет степень двойки. Для raid5 это 3, 5, 9. Для raid6 это 4, 6, 10.

Принципиальная в современных условиях разница между «аппаратным» рейдом и hba - это наличие у рейда набортного кэша с батарейкой. Оно переживает аварийную потерю питания.

Всё гораздо сложнее чем вышесказанное. В частности при наличии батарейки HW RAID controller будет подтверждать flush’ы мгновенно, что радикально ускоряет DB-like workloads. На самом деле я не знаю ни одной ситуации когда SW RAID был бы быстрее. По гибкости с ним тягаться трудно, это да.

А как ещё по вашему можно создать массив на 350тб?

Отличный комментарий, спасибо. Под запись в субд hw raid интереснее. Софт - это под выборки.

В нашем случае это именно большое файлохранилище с возможность постоянного чтения и периодической записи в соотношении где-то 80/20. И одновременной работе с сервером от 10 до 30 рабочих станций.

Если будешь колхозить, то совет про обдув очень дельный. В обычных десктопах на контроллеры я вешал маленький вентилятор, который притягивал обычными пластиковыми стяжками к его радиатору, обычно радиатор имеет зазор с платой по краям и соотв. можно просунуть стяжку.

Ну этого же не было указано в топике :)

Какой-нибудь SmartArray P816 унутрях DL38x Gen10.

Плюсую. Кстати, в «правильной» конфигурации туда «спереди» как раз 24 диска и влезают, и ещё «сзади» несколько слотов остаётся (которые обычно под OS используют).

А как ещё по вашему можно создать массив на 350тб?

Я, кстати, не знаю как Вы собрались выйти на 350TB с 24 sff дисками. Последний раз когда я смотрел (давненько правда было - года 3-4 назад) HP предлагал макс 12TB диски. Ну, и про необходимую избыточность не забываем.

3.5’ дисках.

Упс. Виноват. Невнимательно прочитал. Забудьте про «24 диска в морду DL380» - корзину искать придётся по любому.

ПыСы. Ну, и если уж совсем занудствовать - метровые диски это «ого-го» ;)

HP предлагал макс 12TB диски.

И снова память сыграла со мной злую шутку - эти были lff…

Я знаю. Мы такие сборки юзаем.

3.5" влазит 15 штук, но это другой сетап.

Возвращаясь к вопросу про охлаждение. Подскажите

Я взял Adaptec SmartHBA 2100-24i

Судя по размеру самого радиатора на него поместится только 40x40 мм

Рекомендация производителя что воздушный поток в районе карты должен быть не менее 200 LFM, вентиляторы на 40мм дают в основном поток 8 СFM. И вот тут я слегка запутался. Что это за единицы? И вообще хватит ли вентилятора 40x40мм?

LFM это скорость потока. Поток это CFM. CFM разделить на площадь (в квадратных футах) будет LFM.

Но как это поможет не знаю. Производитель нормирует скорость обдува всего контроллера (примерно 1 метр/секунду). А вентилятор будет дуть только на радиатор.

40x40 мм это 0.017 кв. фута, 8 CFM на выходе с вентилятора как бы 470 LFM, но это на радиатор. Хватит ли остальной плате? И нужно ли остальной плате...

Спасибо)) попробую пока приколхозить такой, а там посмотрим за температурой

Да, приколхозь то, что есть, и смотри на температуру. Скорее всего будет вполне достаточно и радиатор будет не горячим, а теплым.\

А если будет недостаточно, то можно один вентилятор поверх другого поставить. Такая стопка 40x40.

Ребята, последовал вашим советам и обзавелся следующими железками:

Adaptec SmartHBA 2100-24i (6 входов SFF-8643) Корпус 24 диска серверный RSC-4EG2 (внутри 2 отдельных бэкплейна на 12 дисков каждый, по 3 выхода SFF-8087 на каждом бэкплейте) 24 диска SAS Seagate ST16000NM004J

На каждом бэкплейне распаяно по 3 коннектора SSF-8087. Итого 24 диска, по 12 дисков на каждый бэкплейт. Я наивно полагал, что и каждый выход SFF-8087 соотвествует своей четверке дисков, оказалось нет.

Затык возник в следующем.

Если подключить все 6 выходов SFF-8087 на обоих бэкплейтах, к 6 входам на Adaptec SmartHBA 2100-24i, то, к моему удивлению диски не определяются. т.е. Adaptec SmartHBA 2100-24i пишет что ничего не подключено к нему.

Если я подключаю 3 выхода SFF-8087 от одного бэкплейта, к 3 входам на Adaptec SmartHBA 2100-24i, то диски также не определяются. Adaptec SmartHBA 2100-24i пишет что ничего не подключено к нему.

Если я подключаю 1 выход SFF-8087 от одного бэкплейта, к 1 входу на Adaptec SmartHBA 2100-24i. т.е. подключаю одним проводом,то диски подключенные к этому бэкплейту определяются нормально. Т.е. 12 дисков я вижу.

Если я подключаю по одному выходу SFF-8087 с каждого бэкплейта, на Adaptec SmartHBA 2100-24i, то диски также не определяются.

При этом подключение отдельно каждого бэкплейта по одному проводу к Adaptec SmartHBA 2100-24i работает, и диски от этого бэкплейта видятся. Если подключить одновременно по одному проводу каждый бэкплейт, то нет.

Понять закономерность я никак не могу. И как мне сделать, чтобы виделись все 24 диска, тоже. Подскажите, может кто сталкивался или есть какая особенность при подключении к Adaptec SmartHBA 2100-24i или еще что? И почему контроллер видит все 12 дисков подключенных к бэкплейту, а не 4, хотя провод подключения один, а распаяных выходов SFF-8087 на бэкплейте 3? Может их не надо подключать все 3, не пойму. В общем помогите разобраться.

Оох, ты вступил на скользкую дорожку HCL (контроллер может быть несовместим с бэкплейнами, и бэкплейны с дисками)

Прошивка контроллера актуальная?

Почему я не нахожу спецификации корпуса RSC-4EG2 на официальном сайте https://www.aicipc.com/en/solutions/170-1419? Он такой старый, что ушёл в EOL? На сайтах продавцов я вижу, что корпус SAS2/SATA3 (что может быть неправда), а диски у тебя SAS3.

Прошивка контроллера да. Поставил самую свежую.

Корпус, старой модели 2013-2014 годов.

У меня диски SAS3, но если в бэкплейнах SAS2, то почему они видятся, правда не во всех конфигурациях подключения, что интересного и мне не понятно?

Бэкплейн согласно инструкции BKP-SAS3-12EG

Бэкплейн согласно инструкции BKP-SAS3-12EG

CN2 - CN4:
SAS Port (CN2: downlink, CN3 & CN4: uplink)

Меня смущает uplink/downlink в pdf.

https://hardforum.com/threads/sas-controller-expander-questions.1742200/

Вот да! Тоже щас это нарыл в инструкции.

А что это значит Uplink и Downlink?

Разобрался!!!

Наводка про uplink и downlink оказалась верная!

А именно, если соединить CN2 (downlink) общим кабелем, который идет в комплекте. А остальные входы на обоих плейтах подсоединить к контроллеру, то все ок, он будет видеть все диски.

Я правда все равно так и не понял, что значит uplink и downlink. Но хотя бы все заработало, уже отлично ))

Не знаю, я с экспандерами не работал. Подозреваю, что для какого-нибудь dual hba failover или sas multipath.

А, ну отлично!

Отпиши тут потом кейс:

1. железо
2. настройка, фс
3. итоговая скорость (какой-нибудь бенчмарк)

интересно, что в итоге получилось.

Да конечно))

По идее связь между бекплейнами нужна как раз чтобы до каждого диска было два маршрута – первый порт диска подключён к экспандеру «своего» бекплейна, второй порт диска подключён к экспандеру «соседнего» бекплейна.

У тебя диски двухпортовые. На системе диски в lsscsi не дублируются? Если дублируются, то надо настроить multipath.

Ребята, такой вопрос кто как решал вопрос, когда корпус весит много очень и обычные направляющие телескопические просто не удержат сервак, если выдвинуть его на полную.

Посоветуйте что-нибудь, кто сталкивался.

Сурово. По идее, рельсы должны выдерживать максимальную набитость корпуса.

А 2-е рельсы приколхозить никак?

Как это? Рельсы ведь вместе с сервером идут, должны выдерживать.

Вот вся стойка может на тебя повалиться. Для этого есть лапы.

Что такое «обычные» направляющие? H5521T200005 от производителя корпуса или что-то неродное? Хотя, если AIC имеет одну модель рельсов что для 2U, что для 4U, может и промахнулись с нагрузкой.

Так, у них на сайте для корпуса на 36 отсеков значатся рельсы H5521T100002, может они прочнее, а может нет.

Найти тумбочку попрочнее и прикрутить сервер на высоте тумбочки, перед вытаскиванием сервера подставлять тумбочку.

Направляющие те, что шли в комплекте с корпусом. Но они ничем не отличаются от тех что идут в комплекте с 1,2 и 3u.

Но они точно не выдержат. Корпус по грубой прикидке весит 30-40 кг. Если его выдвинуть на полную, а это почти 1м. Рычаг получается приличный, да и несложно посчитать какое будет усилие на рельсы, когда их полностью выдвинем.

В задвинутом состоянии проблемы нет. Только если выдвинуть.

Решение пока только одно. Если нужно выдвигать, то подставлять упор снизу.

Вторую пару рельс не получится приделать. Конструктивно они там не предусмотрены. И приколхозить тоже не вариант.

Так что пока так))

Ещё один вопрос.

Кто как решал вопрос с охлаждением дисков в корпусах с такой плотностью и расположением дисков?

У меня в простое температура 49-55 градусов на всех дисках. При этом в серверной относительно прохладно 18 градусов. Внутри корпуса два 140мм вентилятора, но как то получается не хватает их судя по температуре дисков.

Пока есть мысль приделать спереди три 140мм вентилятора на фронтальную планку, но как-то есть подозрение, что это может не сильно помочь.

Не уверен, что здесь есть владельцы именно такого корпуса, поэтому вам решать где размещать вентиляторы.

Но, прежде чем колхозить вентиляторы нужно смотреть, а есть ли вобще проход для воздуха, встречал корзины, у которых бэкплейн почти полностью перекрывает поток воздуха, там ничего не сделать.

Когда то давно в каком-то корпусе колхозил воздуховод из картона, чтобы возух шёл куда надо. Картон+клей самый простой и быстрый вариант, ИМХО.

Вот в том то и дело. Что кроме этого варианта особо ничего придумать и не могу. Да бэкплейт перекрывает почти все, так и есть. Но по идее это во всех подобных корпусах.

Ну тут вопрос в количестве отверстий в бекплейте, если их там достаточно и они правильно распределены, то бекплейт может способствовать более равномерному распределению воздуха. Хотя логичнее было бы направить воздух вдоль бекплейна, но так мало где делают.