proxmox zfs скорость дисковой системы

Потому что нефиг смешивать аппаратный RAID и программный. Выбери что-то одно.

аппаратным средствами raid

средствами zfs села второй zpool (raidz)

https://static.tvtropes.org/pmwiki/pub/images/disapproving_look.jpg

размером Мб (100,100,1000)

Поправь.

Разговор о скоростях ZFS стоит начинать с указания какой у тебя zfs_arc_max и zfs_arc_min, а так же вывода:
zpool get capacity,size,health,fragmentation

Поддерживаю данного анона.

1. для нормальной работы нужен нормальный hba.
2. тестируйте производительность в fio.

мда, море полезной информации…

А может кто-нибудь высказать версию, почему с zpool(hdd) на zpool(ssd) скорость 90МБ/с?

Как я показал в первом посте:

zpool(hdd)-> /root(ext4) = 250MB/s

/root(ext4) ->rpool(ssd) = 190-150MB/s

относительно прочих комментариев:

1. У меня не НBA и в jbot я не могу диск перевести (только raid0)!

2. zfs_arc_max и zfs_arc_min - дефултовые(на заданы), так как система пустая, соответственно может взять столько сколько хочет (там 128Г).

2.1 zpool get capacity,size,health,fragmentation rpool

NAME PROPERTY VALUE SOURCE

rpool capacity 15% -

rpool size 1.62T -

rpool health ONLINE -

rpool fragmentation 0% -

2.2 zpool get capacity,size,health,fragmentation rpool2

NAME PROPERTY VALUE SOURCE

rpool2 capacity 17% -

rpool2 size 1.11T -

rpool2 health ONLINE -

rpool2 fragmentation 0% -

3. FIO это конечно чудесно, да только толку от того вижу большие IOPS, а файл копируется на ssd со скоростью 90МБ/с???

Добавлю, что основная идея иметь аппаратный raid5 на ssd и его разбиение на несколько логических - это иметь быстрый диск под L2ARC и ZIL (для zil нужно отказоустойчивость). Поэтому пробуется такой вариант - создали аппаратно 3-и логических диска на ssd-raid5 (100(OS),100(l2arc,zil),1000(data))

Не делается два зеркала аппаратно (2х2) (система, 2ARC, ZIL|data|) потому, что всего ssd 4-и (по 480Г) и если делать два зеркала, то очень мало под данные остается.

Поэтому пробуется такой вариант - создали аппаратно 3-и логических диска на ssd-raid5 (100(OS),100(l2arc,zil),1000(data))

и ты ещё удивляешься, что вот эта вот дичь работает через опу?

Снес zpool(hdd), создал lvm-raid5. Получаю:

1. cp zpool(ssd) -> lvm-raid5 = 220MB/s

2. cp lvm-raid5 -> zpool(ssd) = 90MB/s

iostat показывает постоянную утилизацию hdd, но чтение с них то есть, то вообще почти нет.

в скриншотах

https://cloud.mail.ru/public/43io/5NuQaYnie

балаболить каждый может, аргументы пожалуйста…

Миксование ZFS и аппаратного RAID’а никогда не доводило до хороших результатов. Либо HBA + ZFS (в крайнем случае - аппаратный RAID-контроллер + диски в JBOD и ZFS), либо аппаратный RAID и массив его средствами.

Честно говоря, на некоторых raid контроллерах черезжопный hba бывает. После замены на простенький hba скорость может существенно увеличиться.

ну ты подумай на досуге об одновременном доступе трёх разных типов нагрузки на рейд5, даже не 50. как они кореллируют, синхронный zil, ввод-вывод и вот это вот всё.

Какой смысл поверх raid0, делать raidz?

ну что за блаблабла…. зачем вообще эту воду писать… было же и упоминание про HBA и скорости даны и iostat…

ssd гонит 450МБ/с (дисков 4), а здесь 90МБ/с!!! на пустой системе!!! L2ARC, ZIL запланированы, но еще не введены даже! Да и вообще, хоть бы бы спросили для какого массива они (они не для ssd!!!).

ну как знаешь. было тут пару неверующих до тебя, тоже наверно до сих пор удивляются

снес zfs, поставил ext4. И тоге конвиг:

1. логический диск №3 на hard-raid5 (3 ssd) отдаем под data (ext4). На №1 OS.

2. весь логический диск soft-lvm2-raid5 (3 hdd-sas) отдаем под data (ext4)

копирую с 2 на 1 100Г. Имею на первых 60Г скорость 300МБ/с, после 60Г скорость 110МБ/с…

что за скорость (zfs сейчас и не пахнет…)?