Подскажите entry-level контроллер

до 10к разве кроме фейк рейдов есть?

Adaptec RAID 6805E ASR-6805E

НО только рейд1 и без батарейки.

Там же в даташите написано что он и то и се умеет. Почему только raid1? Потому что без батарейки он дропнет массив при сбое питания или потому что он вообще не умеет?

А бюджетные просто SATA-3 контроллеры без всяких рейдов и т.п. бывают? Типа http://www.ulmart.ru/goods/239543/ только на больше дырок SATA.

я думаю что оно и просто сата умеет.

только рейд1 == не умеет рейд5 и рейд6.

т.е. ценность сомнительна, многие современные матери в софтрейде потянуть.

контроллеры с рейд5 начинаются около полуштуки, нормальные т.е. с батарейкой порядка 20к если не путаю.

Тогда я не понимаю принципиальной разницы между Adaptec RAID 6805E ASR-6805E и поделках на Marvell 88SE9128...

Увы, таких нет. Только sas+sata с ценником больше 10 тыщ.

Да. Обычные HBA.

А какой минимально-допустимый? Брать не буду, мне интересно просто.

А не,цены упали. LSI 9240-8i стоит менее 300 долларов.

Я правильно понимаю, что вот этот LSI полностью аппаратный и ему не нужны «драйверы»?

Я думаю, что ему нужен будет драйвер megaraid_sas или что то из этого семейства. Но после загрузки системы будет видеться как одно блочное устройство аля /dev/sdX. И рулить им можно будет при помощи megacli.

Да. Это дешёвый контроллер без поддержки bbu.

Тогда я не понимаю принципиальной разницы между Adaptec RAID 6805E ASR-6805E и поделках на Marvell 88SE9128...

А её и нет.

если марвел аппаратный то разницы и нет.

просто чип другой

А накой он, такой, нужен? В чем профит по сравнению с софт-рэйдом средствами дистра, если кеш при сбое питания что там, что там в жо.. уходит? В сомнительной экономии ресурсов проца (который не шибко напрягается на рэйде 5/6 - времена пней 3 давно прошли)?

Зато минусов горка: несовместимость с другими контроллерами (крякнул контроллер - собрать реально только на таком же, ну может еще на родственном); гимор с мониторингом смарта; гимор с мониторингом состояния рэйда; прочие «прелести»...

В чем профит по сравнению с софт-рэйдом средствами дистра, если кеш при сбое питания что там, что там в жо.. уходит?

1) При порче диска замена оного на новый вообще без вмешательства в систему. Т.е. можно делегировать эту задачу низкоквалифицированному персоналу.

2) В RAID1 чтение в 2 раза быстрее по сравнению с одиночным диском, в отличие от mdadm.

В сомнительной экономии ресурсов проца (который не шибко напрягается на рэйде 5/6 - времена пней 3 давно прошли)?

Попробуй загрузись с raid6, который создан средствами mdadm'а.

несовместимость с другими контроллерами (крякнул контроллер - собрать реально только на таком же, ну может еще на родственном)

Во-первых, бэкап при наличии raid никто не отменяет. Во-вторых, не только точно такой же, возможны широкие вариации, главное - от одного производителя.

гимор с мониторингом смарта

Да ну конечно. smartctl -d sat+megaraid,x -a /dev/sda

гимор с мониторингом состояния рэйда

Да ну конечно. megacli хоть и феерически ужасна, но полностью функциональна.

В чем профит по сравнению с софт-рэйдом

Оно работает. При большом i/o на софтраиде система скорее стоит раком, нежели делом занимается. В общем, я сдался. Вот если не делать почти ничего, чисто чтоб бакап был, тогда софт раид потянет.

1) При порче диска замена оного на новый вообще без вмешательства в систему. Т.е. можно делегировать эту задачу низкоквалифицированному персоналу.

А еще при отваливании диска, после ребута система вполне может засинкаться с отвалившегося. Что порой и наблюдалось у «счастливых владельцев» аппаратных рэйдов. Кроме всего прочего - недавно одна контора столкнулась с тем, что на хп встроенный недорэйд внезапно развалился из-за нештатного отключения питания. И вразумить его никоим образом не получалось...

2) В RAID1 чтение в 2 раза быстрее по сравнению с одиночным диском, в отличие от mdadm.

mdadm тоже вроде как запросы на чтение распараллеливает, не?

Попробуй загрузись с raid6, который создан средствами mdadm'а.

Элементарно - 2 раздела, бут в рэйд1 на всех винтах, и собсно основной раздел.

Во-первых, бэкап при наличии raid никто не отменяет. Во-вторых, не только точно такой же, возможны широкие вариации, главное - от одного производителя.

Возможны вариаци, но не факт что соберется. Т.е. - покупать, экспериментировать, менять, экспериментировать... А время идет...

Да ну конечно. smartctl -d sat+megaraid,x -a /dev/sda

На LSI с этим более-менее, на других в общем случае все печально.

Да ну конечно. megacli хоть и феерически ужасна, но полностью функциональна.

Она может висеть в виде демона и опрашивать периодически состояние? Она может инициировать автоматическую проверку (по расписанию) массива (думаю, не секрет что винты имеют свойство сыпаться в неюзаемой зоне, что приводит к горю при ребилде)?

Коллега принесет валяющийся Adaptec AS-6405E. Буду использовать его просто как +4 надежных дырки SATA.

150+ iops на запись в рэйде 1 - много или мало? При этом - все кушает около 15% процессорного времени; LA чуть более 2 на 8-головой машинке... Работает все шустро, проблем не наблюдается.

Да, винты 7200 об/мин.

Пруф:

# iostat -x -d md0 -d sda -d sdb 20
.....
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00    61.30    0.00  172.55     0.00  1421.30     8.24     1.79   10.38   5.10  88.02
sda               0.00    66.35    0.00  167.50     0.00  1421.30     8.49     1.56    9.29   4.65  77.81
md0               0.00     0.00    0.00  233.35     0.00  1418.80     6.08     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00    25.85    0.00  163.65     0.00  1087.10     6.64     1.32    8.08   4.50  73.58
sda               0.00    30.25    0.00  159.30     0.00  1087.10     6.82     1.57    9.84   5.49  87.38
md0               0.00     0.00    0.00  188.75     0.00  1083.60     5.74     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00    60.45    0.00  158.50     0.00  1340.00     8.45     1.69   10.64   5.59  88.64
sda               0.00    65.20    0.00  153.70     0.00  1340.00     8.72     1.39    9.05   4.97  76.36
md0               0.00     0.00    0.00  218.15     0.00  1336.80     6.13     0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               0.00    23.30    0.00  161.40     0.00  1050.65     6.51     1.32    8.18   4.60  74.23
sda               0.00    24.75    0.00  159.95     0.00  1050.65     6.57     1.50    9.39   5.32  85.05
md0               0.00     0.00    0.00  184.30     0.00  1047.60     5.68     0.00    0.00   0.00   0.00

#top

top - 21:40:27 up 18 days, 21:41,  2 users,  load average: 2.22, 2.29, 2.27
Tasks: 309 total,   1 running, 308 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.9%sy,  0.0%ni, 87.6%id, 10.8%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16331184k total, 12710128k used,  3621056k free,   489144k buffers
Swap:  8191992k total,        0k used,  8191992k free, 11163824k cached

# smartctl -i /dev/sda
smartctl 5.43 2012-06-30 r3573 [x86_64-linux-2.6.32-358.2.1.el6.x86_64] (local build)
Copyright (C) 2002-12 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 7K1000.C
Device Model:     Hitachi HDS721010CLA332
Serial Number:    JP9911HZ2D99MU
LU WWN Device Id: 5 000cca 375e1c669
Firmware Version: JP4OA3MA
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 4
Local Time is:    Tue Apr  2 21:41:01 2013 EEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

А еще при отваливании диска, после ребута система вполне может засинкаться с отвалившегося. Что порой и наблюдалось у «счастливых владельцев» аппаратных рэйдов.

Тоже самое возможно и с mdadm.

mdadm тоже вроде как запросы на чтение распараллеливает, не?

Когда я его последний раз смотрел - не мог. Скоро буду собирать софтрайд - посмотрю ещё раз.

Элементарно - 2 раздела, бут в рэйд1 на всех винтах, и собсно основной раздел.

Вариант, но как-то сложно :) Во-вторых, надо fallback'и настраивать в загрузчике на случай отвала первого диска.

Возможны вариаци, но не факт что соберется. Т.е. - покупать, экспериментировать, менять, экспериментировать... А время идет...

В нормальных конторах критичные сервисы дублируются, а у нормальных поставщиков можно взять железо перед оплаты, а не после, и на тестирование с гарантией последующей покупки.

Она может висеть в виде демона и опрашивать периодически состояние?

Это, насколько видно из названия, CLI. Во-вторых, драйвер megaraid_sas сам пишет в лог.

Она может инициировать автоматическую проверку

Это может сам контроллер.

думаю, не секрет что винты имеют свойство сыпаться в неюзаемой зоне, что приводит к горю при ребилде

Ага, как раз недавно на подобное наткнулся.

Коллега принесет валяющийся Adaptec AS-6405E. Буду использовать его просто как +4 надежных дырки SATA.

Можешь его использовать как RAID-контроллер. RAID10 сделать, например :)

Не могу его использовать вообще, судя по всему: модули ядра Adaptec делал только для старых ядер и старых дистрибутивов.

Это же должен быть обычный aacraid, разве нет?

Да, именно он. Я гуглил, но так и не понял, откуда, кроме сайта Адаптека, брать aacraid.ko. А у адаптека только для всякого старья они есть.

Из ядра, например :-)

Тоже самое возможно и с mdadm.

Невозможно.

Когда я его последний раз смотрел - не мог.

Ну в рэйде 5 я спокойно 200 метров с массива сливал. Насчет 1-го рэйда - вроде как умеет уже давно распределять запросы. Кстати, софт-рэйд умеет еще и комбинировать записи (выше прмер приводил). Аппаратный умеет это?

Вариант, но как-то сложно :)

Вполне себе просто.

Во-вторых, надо fallback'и настраивать в загрузчике на случай отвала первого диска.

Не надо. Пропал диск, висит в бизи - ну и хрен с ним, при ребуте система его тупо не видит...

Это, насколько видно из названия, CLI. Во-вторых, драйвер megaraid_sas сам пишет в лог.

Ну парсить лог - некомильфо однако.

Это может сам контроллер.

Что, по расписанию? Или если его таки утилью пнуть?

Невозможно

Возможно всё :) Ты просто не сталкивался :)

Ну в рэйде 5 я спокойно 200 метров с массива сливал.

Я говорил про зеркало.

Пропал диск, висит в бизи

Диск далеко не всегда в бизи висит. Точнее даже, очень редко в бизи :)

Ну парсить лог - некомильфо однако.

logwatch нашевсё. Никто уже не парсит лог.

Что, по расписанию? Или если его таки утилью пнуть?

И по расписанию и пнуть.

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb              13.84   264.57   72.86   22.24  6916.94  2294.45    96.86     1.21   12.82   1.82  17.31

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb               5.25   290.70    7.40   24.50   377.60  2521.60    90.88     1.24   38.93   1.36   4.34

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb              13.24  2669.82   40.48   48.18  1655.97 21737.53   263.87    10.25  115.56   2.41  21.41

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb              10.35    28.15   37.30   21.25  1353.20   401.60    29.97     0.75   12.91   2.62  15.34

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb              34.88  1243.23   45.13   44.23  1994.20 10299.65   137.58     4.37   48.95   2.58  23.05

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb              21.55    31.85   46.40   25.75  2382.00   460.80    39.40     0.70    9.63   2.51  18.12

И винты 5000 об/мин (RAID5 на 4 hdd).

А вот тут всё гораздо хуже, soft RAID 10 (что-то у 10.0.0 не получается вывод в секторах сделать):

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00    26.95    0.20   78.55     0.80   420.60    10.70    23.63  300.06  130.25  300.49   3.11  24.49
sdc               0.00    26.45    0.65   72.90     2.60   396.00    10.84     6.85   93.18   19.15   93.84   2.08  15.32
sdd               0.00    26.50    0.10   72.90     0.40   396.00    10.86     7.82  107.16   13.00  107.29   2.17  15.85
sda               0.00    26.75    0.30   78.80     1.20   420.60    10.66    15.54  196.44   25.00  197.09   2.65  20.95
md0               0.00     0.00    1.25  203.30     5.00   811.80     7.99     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.00    28.60    0.35  103.25     1.40   526.00    10.18    35.52  342.82   93.57  343.67   3.00  31.12
sdc               0.00    25.90    0.55  100.60     2.20   504.60    10.02    10.83  107.05   31.00  107.46   1.67  16.87
sdd               0.00    25.85    0.15  100.65     0.60   504.60    10.02    10.45  103.67   40.00  103.77   1.76  17.77
sda               0.00    27.45    0.55  104.40     2.20   526.00    10.07    14.01  133.51   76.09  133.81   2.14  22.42
md0               0.00     0.00    1.60  256.50     6.40  1024.60     7.99     0.00    0.00    0.00    0.00   0.00   0.00

# cat /proc/interrupts |grep ahci|sed "s/  / /g"
 33:     0     0     0 3110514116     0     0     0     0  PCI-MSI-edge   ahci

Возможно всё :) Ты просто не сталкивался :)

Кол-во ивентов записывается в суперблок в общем-то...

Я говорил про зеркало.

Зеркала без нагрузки под рукой проверить нет.

Диск далеко не всегда в бизи висит. Точнее даже, очень редко в бизи :)

Если издох с концами - висит в бизи, ибо не может подчитать служебку/не видит голову. Если вылезло несколько бэдов - в общем-то пофиг, они в бут области навряд будут присутствовать.

Я видел «исдох с концами» очень редко. Обычно диск вполне себе нормально определяется, но при попытке загрузки с него - полный висяк.