Коллеги, всем привет! Вынес я себе мозг знатно, уже идей не осталось. Есть новый сервант DELL PowerEdge R630, и в нем же торчит два NVME накопителя - INTEL DC P3605 HHHL. Поверх накопителей накатан mirror ZFS. Казалось бы все ок, норм, кайф и как по учебнику, но это было бы очень просто. Внутри гостевой машины наблюдается катастрофическое падение производительности файловой системы. Если тестирование пула на голом железе даёт ~ от 12к iops до 90к (sync=disabled) то в виртуалке всё это падает в 10 раз а то и больше (60-5к iops). Перебрал все варианты, менял контроллеры в гостевых машинах, игрался с размерами блоков etc… Я бы понимал такие падения если бы запускался на гражданских носителях. Но тут эентерпрайз левел. Мейби кто то сталкивался с этим траблом?

Исходные данные:

Гипервизор:

• Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz
• 256 гигов какой то оперативы
• pve-manager/6.4-15/af7986e6 (running kernel: 5.4.203-1-pve)

Создание ZFS: zpool create -o ashift=12 nvtank mirror /dev/nvme0n1 /dev/nvme1n1

Тест везде используется один и тот же:

fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=randrw --size=500m --io_size=10g --blocksize=4k --ioengine=libaio --fsync=1 --iodepth=1 --direct=1 --numjobs=1 --runtime=60 --group_reporting

Тест ZFS на голом железе (sync=disabled)

( читать дальше... )

Тет внутри виртуалки

( читать дальше... )

ЗЫ: Есть еще тест внутри виндовой гостевой машины. Что интересно она была развернута в LVM на одном из дисков:

( читать дальше... )

Тестов на ZFS не осталось, но там тоже было падение раз в 10.

Коллеги, приветствую!

Возникла проблема опыта на которую не хватает. Имеется кластер из 3 нод, 42 осдшки, hdd+ssd+nvme. В один момент резко на 2 нодах из трех скакнул iowait c 0.1 до 25. Соответственно кластер затупил как собака. Проверил все (Сеть, контроллеры, диски) все в норме. Может кто то сталкивался и направит меня по правильному пути?

Приветствую коллеги.

Года 3 назад столкнулся с проблемой - в кластере proxmox гостевые тачки под виндой рандомно раз в 2-3 недели теряют шлюз. При этом на никсовых никогда проблем не было. Грешил на бридж, ставил OVS но ситуацию это не поправило. Во всех логах чисто. Гугл и не только прошерстил вдоль и поперек. Подскажите может кто сталкивался? И в какую сторону копать?

Коллеги. Делитесь опытом. Есть PM кластер - 28 нод. Есть 3 HPE DL380 G8. Есть 10Gb/s сеть между всем этим. Хочется уйти от SCSI/iSCSI и LVM. Вопрос - стоит заморочиться? Хотелось бы услышать опыт бывалых.

Всем привет! Уже перелопатил весь гугол, не могу найти ответ. Есть кластер PM (~28 нод). Есть текущая рабочая конфа - Shared LVM over FC multipath. Хочется уйти от аппаратного RAID и переехать на ZFS (RAID 10). Собственно вопрос: как прокинуть zpool/zvol кластеру по FC?

Доброго…!

Есть кластер PM5 который до сего времени ВНЕЗАПНО работал с 1gb iSCSI. Работал и работал… Появилась 8gb FC SAN. Собстна покурив ман и форумы перед тем как все сломать появился вопрос: а правильно ли я понял что мне достаточно смонтировать SCSI на каждой ноде и прописать по этому пути LVM хранилище в кластере? Не будет ли кластер сам себя перезаписывать на сторе.