Загрузка с mdadm-raid1 из hdd по 3Тб

создаю три raid1 (/, swap, lvm)

Поподробнее, пожалуйста. Желательно предоставить полную карту разметки дисков и точек монтирования.

grub надо ставить не на /, а в MBR каждого диска, т.е. на /dev/sda, /dev/sdb и т.д.

sudo grub-install --root-directory=/ /dev/sd[a,b,c]
sudo update-grub --output=/boot/grub/grub.cfg

Вот на всякий случай кусок моего рабочего конфига для grub2:

menuentry 'Debian GNU/Linux, with Linux 3.2.0-4-686-pae' --class debian --class gnu-linux --class gnu --class os {
        load_video
        insmod gzio
        insmod raid
        insmod mdraid1x
        insmod part_msdos
        insmod ext2
        set root='(mduuid/e81a375faaceef7eba035cd07e93502e)'
        search --no-floppy --fs-uuid --set=root fdbba467-7966-4d8b-b8e9-3be92f569cec
        echo    'Loading Linux 3.2.0-4-686-pae ...'
        linux   /vmlinuz-3.2.0-4-686-pae root=/dev/md126 ro  quiet
        echo    'Loading initial ramdisk ...'
        initrd  /initrd.img-3.2.0-4-686-pae
}

Да, и установить grub на флэшку тоже можно, но смысла в этом в данной ситуаци нет.

grub надо ставить не на /, а в MBR каждого диска, т.е. на /dev/sda, /dev/sdb

Так и делаю, пытаюсь установить grub на /dev/sda, /dev/sdb, но установщик grub утверждает, что это невозможно. Есть подозрение, что дело тут в размере hdd 3Тб.

Поподробнее, пожалуйста. Желательно предоставить полную карту разметки дисков и точек монтирования.

md0 - 70Гб / ext4 md1 - 30Гб swap md2 - (всё остальное место) /dev/vg1 без томов пока.

Нужно больше информации. Какая таблица разделов (ms-dos/gpt)? / и /boot поверх lvm, или просто на mdraid разделе? Что конкретно пишет grub-install?

Дело точно в размерах hdd, так как раньше в этом же сервере стояли диски 2x500Гб, конфиг raid был точно такой же, проблем с grub не было.

Какая таблица разделов (ms-dos/gpt)?

ms-dos там вроде как по определению быть не может, так что gpt.

/ и /boot поверх lvm, или просто на mdraid разделе?

/ просто на mdraid, /boot нету вообще.

Что конкретно пишет grub-install?

Что то типа «невозможно установить», точно не скажу, сервер на работе, а я дома на диване.

но установщик grub утверждает, что это невозможно

Какая версия самого граба?

Есть подозрение, что дело тут в размере hdd 3Тб.

А ты что, винт не нарезал на разделы?
Нарежь, скажем, 512м на md1 - boot, не старайся делать большие разделы, замучаешься синхронизировать при вылетании.

Во-первых, для grub/grub2 программный рейд должен быть с метаданными версии 0.9

Во-вторых, как устанавливаешь?

Есть сервер без UEFI в bios, воткнуты в него 2x3Тб hdd

Я не знаю, что ты понимаешь под «без UEFI», но 3 Тб - это однозначно GPT, и под grub ты должен создать отдельный специфичный раздел. На этом диске будет лежать не /boot, а state1.5, насколько я знаю

gdisk -l /dev/sda:
[...]
Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048           22527   10.0 MiB    EF02  bios_grub
   2           22528         1071103   512.0 MiB   FD00  Linux RAID
   3         1071104      5860533134   2.7 TiB     FD00  Linux RAID

Обрати внимание на ничтожный размер, код раздела и его имя.