Прошу помощи с выбором raid массива для Proxmox 5.0

Получится только через debian. Сначала на raid 10 ставишь последний debian, а потом подключаешь репозиторий проксмокса.

В общем отключаешь на этой параше имитацию raid`а переключив его в AHCI режим.

Записываешь на флешку debian stretch.

В инсталляторе создаешь 2 массива. 1-й рамером 1 гб на 4 дисках raid1, подключаешь его как /boot. Второй raid 10 на 4-х дисках.

Поверх устройства md создаешь lvm, еще выше группу томов. Поверх группы томов сделай логический раздел объемом 50-100 гб и подключи его как /.

Остальное место оставь свободным. Устанавливай debian. Все остальное на сайте проксмокса есть.

Из коробки прокс устанавливается на zfs raid, зачем городить мдадм, если разрабы против.

Это не разрабы против, это инсталлятор раковый. В убунте же тоже нет mdadm при установке, хотя разрабы не против.

Если я правильно понимаю, то для нормальной работы на этом тазике zfs нужно +1 процессор да и озу не 16, а хотя бы 32... чего пока нет

Не, была долгая история, просили впилить мдадм, на что разрабы говорили, что он убогий и впилить его не будут.

А, посмотрел, ресурсов и правда совсем негусто. 10 будет вполне шустрым, соберёшь максимальное число иопс для такого конфига.

А не поддерживаемый ZFS приделанный сбоку зашибись.

В проксе много спорных вещей. Прикручивания ещё не стабилизированного цефа в 5 - тоже так себе решение

смотрите по характеру нагрузки.

если много i/o и тем более много записи - то однозначно 10.

если записи немного, да и вообще i/o не особо интенсивное - можно и 5 рэйд.

если много чтения, но пишется мало - то, думается, 5й рэйд будет не особо медленнее 10-го.

главное - не забывать mdcheck по расписанию.

спс

В убунте же тоже нет mdadm при установке, хотя разрабы не против.

В серверной есть, в десктопной врядли нужен.

для нормальной работы на этом тазике zfs нужно +1 процессор да и озу не 16, а хотя бы 32

Зачем отдельный проц? Тут стоит исходить из того что будет крутиться на ваших вирт. машинах.

На счет памяти - для ZFS, для тупого и грубого расчета, исходите из цифры 1GB памяти на 1TB места - у вас не указано какие диски будут установлены по вместительности.

В целом ZFS в RAID-10 будет поприятней - хотя бы те же снапшоты, сжатие LZ4 (ни того ни другого в LVM на MDADM не будет в Proxmox).

И в случае выбора MDADM/LVM не забудьте выровнять массив если у вас диски с размером сектора 4К - http://dennisfleurbaaij.blogspot.ru/2013/01/setting-up-linux-mdadm-raid-array..., в противном случае всё будет тормозить так что никакой проц и доп. память вас не спасет.

4х4Tb

Снапшоты в LVM есть вообще-то.

И в случае выбора MDADM/LVM не забудьте выровнять массив

Зачем распространять эти сказки, устаревшие лет пять назад? Когда-то да, было нужно.

Читайте до конца то что в скобках - «не будет в Proxmox». Это значит что Proxmox не поддерживает снапшоты LVM из коробки. А то что в LVM есть снапшоты и так известно.

Зачем распространять эти сказки

Затем чтобы у неопытных людей не было проблем.

Диски Seagate SAS 4TB (точно модель не скажу). По факту имеют сектор 4К, а прикидываются будто 512 байт:

# fdisk -l

Disk /dev/sda: 3.7 TiB, 4000787030016 bytes, 7814037168 sectors
Units: sectors of 1 * 512 = 512 bytes

MDADM/LVM в этом случае думает что на диске сектор равен 512 байт. Расказать какие последствия в MDADM RAID10 массиве из 4х таких дисков? Работает медленнее чем ноутбучный 5400 диск - причины смотрите по ссылке что я давал выше.

А то что в LVM есть снапшоты и так известно.

Так же, как известно, через какое место они работают.

повтор 4х4Тб WD RED

4х4Тб WD RED

Смотря сколько памяти будете выделять виртуалкам. В ZFS можно ограничить выделение памяти, но тогда и работать она будет не шибко быстро - https://www.solaris-cookbook.eu/linux/linux-ubuntu/debian-ubuntu-centos-zfs-o...

В общем конечно лучше добавить памяти до 32ГБ, потому что 16ГБ под 8TB ZFS и еще виртуалки сверху будет маловато - придется чем-то жертвовать.