«Открытый» дисковый массив на 67 Тб

> Ответ SUNтехника

... которому надо оправдать копроративную политику задранных цен :-)

> серверные контроллеры, серверную же мат.плату с железячками по мощнее

Да у тебя энтерпрозный сервероз головоного мозга. Железо "серверное", "ынтырпрайзное" и "профессиональное" от "десктопного" давно отличается только наклейками на чипах.

> Да у тебя энтерпрозный сервероз головоного мозга. Железо "серверное", "ынтырпрайзное" и "профессиональное" от "десктопного" давно отличается только наклейками на чипах.

ненене, не только наклейками, может быть еще залочено быть вендором. Ну и по мелочи, некоторые чипсеты не используются в десктопах. Но тут более запущенная форма, здесь школьник начитавшийся педивикии.

Ааа! Адекватные люди в моём сраче!!!

Я не говорю что там не пойдет 5-ти вольтовый.

он прошьет, тока может контроллер СЖЕЧЬ с тем же успехом.

в первом хавту по восстановлению сигейта почемуто было написано что такие вот ком на УСБ надо запитывать от 3.3 вольта..

а кто мешает использовать ком-порт от сименса за 200р а не платить за эту радость 2000Р?

>несколько бп соединит даже школьник.

ЧЕ-ПУ-ХА.

Сгорят эти "несколько бп" от школьного соединения.

>Есть вероятность, что как только закончится время гарантии на диски диски начнут массово отказывать в узком интервеле времени?

Не "есть вероятность", а именно так и будет. Поэтому более правильно для зеркал комбинировать диски из разных партий, либо вводить диски из одной партии с интервалом в несколько месяцев - полгода.

Иначе можно огрести ситуацию что зеркало ушло в DEGRATED из-за смерти одного диска, вставили новый диск и не супели отсинкать как помер старый.

>Сгорят эти "несколько бп" от школьного соединения.

Тут ты неправ. Помню, был случай - БП сдох. Пришлось до покупки нового поставить в пару двух задохликов. И ничего - сутки машина работала.

>Тут ты неправ. Помню, был случай - БП сдох. Пришлось до покупки нового поставить в пару двух задохликов. И ничего - сутки машина работала.

А на месяц оставил бы эти два задохлика? Нет? То-то.

>>Собсна как проц. переварит такой гигантский софт-raid? >Так ведь вроде почти ничем кроме этого не занят. Первая критика/сомнение по делу :)

Более чем по делу...

В RAID-6 используется сдвоенная контрольная сумма, на расчёт которой потребна бОльшая вычислительная мощность, нежели на расчёт КС того же RAID-5. Именно поэтому "правильные" аппаратные RAID-контроллеры с поддержкой R-6 имеют на борту не только основной процессор, но и dedicated chip для ускорения вычисления КС. Это, кстати, определяет и их немаленькую стоимость. Кроме них существуют аппаратные контроллеры R-6, в которых вычисление КС для R-6 производится основным процессором контроллера, что, конечно, удешевляет железку, но ощутимо снижает её производительность. Боюсь, что в случае software R-6 для более-менее вменяемого трансфера проц должен быть не самым плюшевым...

--- И еще немного уточнений на тему пробегавших тут высказываний:

>да, и я думаю, что Tecram и 3ware не умеют объединять PCI-E и PCI-X контроллеры в один рейд. xpahos (*) (05.09.2009 17:49:59)

Никто из контроллеров этого не умеет.

>А еще я знаю, что если в RAID6 вылетит больше половины дисков (...), то ему капут. IBAH (*) (05.09.2009 23:13:51)

Хм-ммм... Процитированную фразу следует читать как "в RAID6 на четырёх дисках" или как "в минимальном RAID6", поскольку в R-6 из-за двух КС существует избыточность в ДВА диска (безотносительно их общего числа) и в этом случае выход из строя половины дисков приведёт к деградации тома, но работать том будет. Вылет трёх дисков (больше половины!) положит такой том R-6 мордой в грязь. Однако такой же вылет трёх дисков на томе R-6 из пяти, десяти или тридцати дисков точно так же убьёт этот том - а ведь будет потеряно существенно меньше половины дисков.

С уважением, De Nada

Прежде чем думать, что вокруг все идиоты, нужно поставить себя на место этих идиотов и подумать, а почему они сделали так?

Например, стоило бы посмотреть, что за железо используют для этого решения. Например, можно найти на русском тесты одного из мультипликаторов портов на чипе SiI3726:

http://itc.ua/node/27182

Чип SiI3132 обладает той же производительностью. Гуглом находятся мнения пользователей карт, указанных в спецификации.

Несомненно, что если мы посмотрим глубже, то увидим узкое место - пропускную способность PCI (а на карту PCI приходится 15 винтов) и PCIe (на кажду карту приходится по 10 винтов). В принципе, если поделить пропускную способность для одновременного использования всех винтов, получается не так уж и плохо.

Но не стоит забывать, что максимум с этой штуковины можно забрать 100МБ/сек (гигабитная карта). Судя по отчетам пользователей, чтение/запись в raid 1 идет на уровне 120-140МБ/сек.

Т.е. мы в большинстве случаев укладываемся в пропускную полосу.

То же самое касается процессора - он просто не нужен большой, чтобы при такой полосе пропускания обслуживать рейды. Максимум, он напряжется, когда будет восстанавливать посыпавшийся рейд.

>Вылет трёх дисков (больше половины!) положит такой том R-6 мордой в грязь.

Читаем: RAID 6 (striped disks with dual parity) combines four or more disks in a way that protects data against loss of any two disks. This makes larger RAID groups more practical, especially for high availability systems. This becomes increasingly important because large-capacity drives lengthen the time needed to recover from the failure of a single drive. Single parity RAID levels are vulnerable to data loss until the failed drive is rebuilt: the larger the drive, the longer the rebuild will take. Dual parity gives time to rebuild the array without the data being at risk if a (single) additional drive fails before the rebuild is complete.

Действительно, вылет трех дисков положит любой RAID-6 (а не только этот) мордой в грязь. Но вылет двух дисков при _любом_ количестве дисков ничего с рейдом не сделает.

Если смотреть на статистику гугла и взять калькулятор, то мы увидим, что из пятнадцати дисков максимум вылетает два (12 процентов) - т.е. укладываемся. Это максимум. Можно еще посчитать вероятность одновременного вылета. Думаю, будет исчезающе мала.

Ну и там можно еще распределение считать (и это не ко мне).

И потом мы вспоминаем, что все данные дублируются. Т.е. потеря данных, наверное, возможна, если там взорвать что-нить внутри дата-центра.

Поэтому Backblaze зарабатывает деньги - считают, прежде чем что-то делать.

P.S. Да, они используют четыре гига памяти, потому что в эту мать больше четырех не лезет.

Кстати, прежде чем хаять _работающее_ решение, очень рекомендую посмотреть на биографию членов команды Backblaze...

> в первом хавту по восстановлению сигейта почемуто было написано что такие вот ком на УСБ надо запитывать от 3.3 вольта..

Ну да, там, вроде, отличие в том что юзается max232, а если готовый кабель на PL-2303 и CP2101, то там преобразователь, и на выходе 3.3 плюс переходник RS232-TTL. И вроде как если на 7200.11 подавать не 3.3 а больше то он терминал не включит =) Как то так, хотя я может быть и не прав.

В первом посте, имел ввиду, говоря про usb-com шнурок любой, что к нему ещё приделываешь перходник RS232-TTL на 5v(на выходе 3.3) и все круто. Тем более, что платы с RS232toTTL широко юзаются в программировании контроллеров и найти их проще чем возиться с переделыванием шнурка от телефона.

> а кто мешает использовать ком-порт от сименса за 200р а не платить за эту радость 2000Р?

=) да ни кто, это про готовый вариант. Ну и, типа, "печатная плата" c завода а не "на коленке".

2 jackill: Уважаемый, складывается такое впечатление, что Вы несколько недопоняли написанное мною...

>Прежде чем думать, что вокруг все идиоты, нужно поставить себя на место этих идиотов и подумать, а почему они сделали так?

Не стОит приписывать другим то, чего не было. Во-первых, я не думал, что другие идиоты, потому что "во-вторых" - я не критиковал авторов решения, а всего лишь уточнял некоторые моменты из комментариев ветки...

>Например, можно найти на русском тесты одного из мультипликаторов портов на чипе SiI3726: http://itc.ua/node/27182 ... поскипал, ибо насчёт производительности дисковой системы, как таковой, я ничего не говорил (хотя и мог бы) ... >То же самое касается процессора - он просто не нужен большой, чтобы при такой полосе пропускания обслуживать рейды. Максимум, он напряжется, когда будет восстанавливать посыпавшийся рейд.

Не совсем точное утверждение... Если мы рассмотрим аппаратный R-6, то увидим, что в случае, когда КС вычисляются силами основного процессора контроллера (на моделях БЕЗ выделенного чипа), производительность тома R-6 (читай - трансфер) резко падает по сравнению с томом RAID-5 на том же контроллере.

Однако, если Вы оставите диски в режиме non-raid (или прицепите их на этом же компе к не-RAID-контроллеру с аналогичным канальным чипом) и сделаете на них том R-5 силами ОС, то увидите, что софт-R-5 уступает по трансферу хард-R-5, поскольку бортовой процессор контроллера, специализирующийся на I/O, производительнее центрального процессора компа (в данном случае). Соответственно, софт-R-6 даст ещё бОльшее падение трансфера в силу того, что CPU придётся считать не одну, а две КС. Тут мы можем уже и не получить даже пресловутых 100МБ на гигабите, бо с ростом числа шпинделей увеличивается число блоков КС, потребных к расчёту (а на 45 шпинделях это должно быть очень ощутимо).

//BTW, говорить о 100МБ/сек. трансфера на гигабитной карте можно только если карта сидит на PCI-X или PCI-Ex - в противном случае (когда LAN завязана на PCI) больше 60 мег/сек. мы не получим - это я пробовал самолично. Причём практически у всех материнок, с которыми мне доводилось работать, встроенная сеть была завязана именно на PCI - исключение составляют лишь топовые мамки с двумя NICами: у таких одна бортовая сетка разведена на PCI, а вторая - прямо на MCH через CSA-соединение. Вот вторая выдаёт почти 100МБ/с )тоже проверялось мною), но на использованной креаторами материнке (Intel DG43NB) только один встроенный NIC... и он не CSA). Т.ч. в реале эта конфигурация не отдаст по сети сто мег - только шестьдесят... правда, это на руку их процу - возможно, он и успеет с просчётом двух КС... или не успеет... :)))) //

С уважением, De Nada.

2 jackill: И по поводу того, что проц "напряжётся, когда будет восстанавливать посыпавшийся RAID"... Я полагаю, Вы имеете ввиду rebuild - восстанавление избыточность деградировавшего тома (бо "посыпавшимся" считается RAID-том, который потерял хардов больше, чем допускается его схемой для потери избыточности)??? Строго говоря, он начнёт напрягаться уже ДО начала rebuild`а - тогда, когда выйдет из строя первый хард в R-6, т.к. до этого ему приходилось считать две КС при записи, а теперь ему придётся ещё и при каждом чтении вычислять недостающие блоки. А вот при rebuild`е нагрузка на процессор в единицу времени практически не увеличивается, бо считывание всей полосы (страйпа) и вычисление недостающего блока производится и при чтении с деградировавшего массива, только в случае rebuild`а вычисленный блок записывается в текущий страйп на новом диске (замещающем вышедший из строя). То, что при этом придётся прочитать все страйпы тома, погоды не делает - просто продлевает режим "чтение с вычислением" на больший интервал времени - обычная нагрузка на чтение деградировавшего тома просто продолжается дольше по времени.

>Действительно, вылет трех дисков положит любой RAID-6 (а не только этот) мордой в грязь. Но вылет двух дисков при _любом_ количестве дисков ничего с рейдом не сделает.

Вы машете шашкой не в ту сторону, утверждая ровно то же, что и я. Я всего лишь поправлял тех в этой ветке, кто утверждал, что R-6 допускает выход из строя "больше половины дисков" //если в RAID6 вылетит больше половины дисков... IBAH // Кто-то менее искушённый нас с Вами мог бы посчитать на основании тех ошибочных высказываний, что из тома R-6 на 20 дисках вылетит _меньше_ половины_ (диска так 3-4), то всё будет пучком. А это не так...

>Кстати, прежде чем хаять _работающее_ решение, очень рекомендую посмотреть на биографию членов команды Backblaze...

И снова-здорОво! Я НЕ хаял их решение (хотя, как человек, полтора десятка лет профессионально работающий с железом, в т.ч. RAIDами, кое-что мог бы сделать и по-другому). Я всего лишь поправил ряд заблуждений со стороны комментаторов этой ветки...

>Однако, если Вы оставите диски в режиме non-raid (или прицепите их на этом же компе к не-RAID-контроллеру с аналогичным канальным чипом) и сделаете на них том R-5 силами ОС, то увидите, что софт-R-5 уступает по трансферу хард-R-5, поскольку бортовой процессор контроллера, специализирующийся на I/O, производительнее центрального процессора компа (в данном случае).

Если я верно помню все тесты, прочитанные за два года, то софт-рейды достигли производительности аппаратных.

Если бы там еще крутилось что-то мегатяжелое (а это точно не апач), то я еще мог бы согласиться. Но 800 мегагерцовый, пусть и специализированный, проц на канале в 100МБ/с вряд ли может уступать центральному процессору.

А 100МБ/с мы получим, потому что вряд ли винты заполняются хаотично + есть кэш.

>BTW, говорить о 100МБ/сек. трансфера на гигабитной карте можно только если карта сидит на PCI-X или PCI-Ex - в противном случае (когда LAN завязана на PCI) больше 60 мег/сек. мы не получим - это я пробовал самолично

Пробовал еще два года назад асусовские матери с чипами Marvell и около сотни прекрасно выдавало.

>Если я верно помню все тесты, прочитанные за два года, то софт-рейды достигли производительности аппаратных.

Профит еще и в том, что софт-рейды ГОРАЗДО проще восстанавливать после отказа контроллера - достаточно переткнуть диски из сервера в сервер.

С аппаратным рейдом надо быть готовым к тому что выход его из строя означает смерть данных даже при сохранных дисках. Особенно - если модель рейд-контроллера старая.

Кроме того, в софт-рейд можно собрать не только диски разных вендоров но и диски разных объемов. Это, конечно, нищебродство, но когда счет дисков идет на тысячи, а рейдов - на сотни, сильно упрощает жизнь.

2 stellar:

>Профит еще и в том, что софт-рейды ГОРАЗДО проще восстанавливать после отказа контроллера - достаточно переткнуть диски из сервера в сервер. С аппаратным рейдом надо быть готовым к тому что выход его из строя означает смерть данных даже при сохранных дисках. Особенно - если модель рейд-контроллера старая.

Устаревшие сведения - программы типа RaidReconstructor умеют собрать RAID-том и без контроллера, создавшего его - достаточно просто подключить их к соответствующему интерфейсу...

>Кроме того, в софт-рейд можно собрать не только диски разных вендоров но и диски разных объемов.

Ошибочное мнение: аппаратные RAID-контроллеры всегда позволяли то же самое - другой вопрос, что они, как правило, применялись на серьёзных системах, где не было нужды для подобных эксцессов - но при необходимости можно было заместить вышедший из строя хард ЛЮБЫМ хардом _не меньшей_ ёмкости... равно как и изначально собрать аппаратно RAID-том на любых хардах...

С уважением, De Nada.