сата линки проверь, бывает такое если корзины/бэкплейн гавно или просто контакт хреновый, часто сопровождается матами ядра/рейдконтроллера.

сата линки проверь

имеете ввиду физический контакт кабеля, контроллера, корзины и дисков? Переподключал уже десятки раз, не помогло. Хотя иногда вставляю диск в корзину - индикаторы горят как положено, а контроллер не видит его. Переподключаю еще раз - видит. Корзину и кабель не пробовал менять, так как считал, что проблема скорее всего в контроллере

часто сопровождается матами ядра/рейдконтроллера

А в каком именно логе смотреть? И какие ошибки могут быть в таком случае?

маты ядра стандартные в dmesg по поводу sata link timeout/reset итд, как смотреть маты контроллера зависит от самого контроллера, в документации смотрите, вобщем если есть на нем стандартные саташные разьемы попробуйте диски на прямую подоткнуть без корзин с бекплейном и посмотреть что будет.

20 минут форматирование раздела - это тоже не нормально. 2 часа - тем более.

Вот пример с LVM томом размером 550Gb на обычном SATA диске. Software RAID 1, возможно, будет чуть медленнее, но не на столько.

# time mke2fs -t ext4 /dev/homesrv_2tb/test 
mke2fs 1.42.7 (21-Jan-2013)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
36044800 inodes, 144179200 blocks
7208960 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
4400 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
        102400000

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done     


real    0m3.568s
user    0m0.550s
sys     0m0.160s

Прошивки последние?

на 2 контроллерах которые хотя бы работают - не последние, но и не старые (соответствуют версии драйвера в Centos 6.5). А на 6405H пробовал все, считая последнюю. Так с последней было хуже всего - он еще и 2 диска (резервных) отформатировал так, что они теперь вместо 600гб стали 0 гб. А еще на 6405H постоянно мигали индикаторы error на корзине (красные). Но 6405H думаю дохлый попался изначально

на 2 контроллерах которые хотя бы работают - не последние, но и не старые

Шей последнюю (P19). У LSI линуксовая прошивалка есть, Шить так:

./sas2flash -o -listsasadd (записываешь адрес)
./sas2flash -o -e 7
./sas2flash -o -f 2118it.bin
./sas2flash -b mptsas2.rom
./sas2flash -o -sasadd address_without_dashes

Шить, разумеется, в IT-стек.

А на 6405H пробовал все, считая последнюю. Так с последней было хуже всего - он еще и 2 диска (резервных) отформатировал так, что они теперь вместо 600гб стали 0 гб. А еще на 6405H постоянно мигали индикаторы error на корзине (красные). Но 6405H думаю дохлый попался изначально

Очень похоже, что не читаны доки, поставляемые с прошивкой. Там периодически содержится очень важная информация.

20 минут на ext4 не нормально. Там меньше минуты, тем более на контроллере. Может, ядрышко старовато?

доки именно к этой прошивке не читал, читал мануал как прошивать и общие доки. error горел на всех 3 прошивках. Думаю либо дело в кабеле/корзине (так как все 3 контроллера глючат так или иначе), либо в материнке (кажется крайне маловероятным), либо у всех 3 контроллеров разные проблемы (такое вот прямо совпадение)

Перед выводом сервера в продакшн обновляются все фирмвари (биос, BMC, RAID/HBA, хотсвоп-бэкплейн, и т.д.). После этого делаются выводы про глючные материнки, кабели, корзины и т.д.

Мне кажется, что я все исключил кроме прошивки контроллера (пробовал другой сервер, другие диски, другой кабель вместо корзины). Но с прошивкой что-то не могу разобраться. Скачал последние архивы:

1)UEFI_BSD_P19 (BIOS), внутри:

x64sas2.efi и x64sas2.rom => в вашей инструкции их нет - они вообще не нужны? (и что это такое, кстати?)

2)Installer_P19_for_Linux (Firmware), внутри:

sas2flash => здесь сама утилита для прошивки, все понятно

3)9211-8i_Package_P19_IR_IT_Firmware_BIOS_for_MSDOS_Windows (Firmware), внутри:

2118it.bin mptsas2.rom вроде вот этими 2 файлами и нужно прошивать, но почему-то пакет называется MSDOS_Windows, а аналогичного пакета под Linux нет. Прошивать этими 2 файлами, они от ОС не зависят ведь никак?

x64sas2.efi и x64sas2.rom => в вашей инструкции их нет - они вообще не нужны? (и что это такое, кстати?)

http://www.bussink.ch/?p=1511

но почему-то пакет называется MSDOS_Windows

Потому-то рядом с фирмварью лежат прошивалки под DOS и Windows.

Прошивать этими 2 файлами, они от ОС не зависят ведь никак?

Если задаются такие вопросы, то может ну его, прошивание серверных железок?

из Linux не прошивается, а UEFI Shell в материнке глючит (ругается на secure boot, хотя он и disabled), пока не удалось победить. Я погуглил опыт других людей - только через UEFI Shell и получается у них. А вот не было бы UEFI в материнке (в серверной как раз и нет, пробую на десктопной) - как тогда прошивать? Мне кажется, что LSI что-то не додумала...

из Linux не прошивается

Совершенно невозможно. На днях прошивал 9211-8i.

а UEFI Shell в материнке глючит (ругается на secure boot, хотя он и disabled), пока не удалось победить.

А не надо было брать асус.

http://true-system.blogspot.ru/2013/10/lsi-sas-hba-supermicro-x9-efi-shell.html

(пробовал другой сервер, другие диски, другой кабель вместо корзины).

А кардинально другие ядра, или шедулеры попереключать ? Был случай, когда cfq ломали во времена 2.6.18, к примеру. Может, что-то в этом роде ?

прошивка IR на IT

Если контроллер с прошивкой IR (RAID), а вы планируете перешить, комплектным прошивальщиком в IT (HBA), то будет ошибка. В конференции http://forum.ixbt.com/topic.cgi?id=11:43801:1425#1425, пользователь с ником «E320 Sportline опус» обубликовал процедуру прошивки и утилиту с помощью которой легко сменить IR на IT. LSIUtil В линуксе перешивать ещё проще, чем в дос и вынь.