proxmox replication zfs устории успеха

HA не получится: нет дисковой полки, glusterfs/ceph не хочу.

HA можно делать и без дисковой полки.

кто пробовал что можете сказать?

Мы в восторге.

HA можно делать и без дисковой полки.

и без кластерных fs?

И без кластерных фс, на nfs, например.

Ты точно не путаешь HA и надёжность?

https://pve.proxmox.com/wiki/High_Availability я про этот HA

Ну хорошо.

У меня работает лет шесть, семь. Надо следить за ней, иногда может подвиснуть, и будет место жрать. В остальном, проблем не было.

Отвалов пулов, выжирания оперативки и прочих приколов zfs не наблюдается? Диски в zraid собраны или аппаратный raid и поверх zpool? Я планирую для системы и данных разные массивы ставить.

Работает без полки в HA в пачке филиалов две ноды + qdevice для кворума. Крутит на себе виртуальные маршрутизаторы, точки обхода РКН, вспомогательные машины и реплики складских баз.

Залог успеха:

• диски только серверные SATA/SAS (nvme с осторожностью и нюансами), в mirror. Никаких извращений с raidz, никаких Adata, Crucial и прочего мусора;
• памяти закладывай минимум 16 GB на ARC кэш;
• zfs пулы называй одинаковыми именами из одинаковых дисков на всех нодах; количество пулов лучше сделать одинаковым;
• кворум на кластере из четного количества нод делается через corosync-qnetd на отдельной физической машине (например на рядом стоящем PBS);
• 10G сеть реально стоит того, даже 2.5 гиг сеть собранная без коммутатора в виде кабеля точка-точка из ноды в ноду уже даёт неплохой буст к скорости миграции и репликации по таймеру (она настраивается в графике, да);

+1

Работает без полки в HA в пачке филиалов две ноды + qdevice для кворума.

https://nolabnoparty.com/wp-content/uploads/2024/04/proxmox-configure-high-av... вот этот ha?
Я тогда чего-то не понимаю, но ha у них требует внешнее хранилище, чтобы когда одна нода упала другая могла перехватить диск с хранилища и запустить vm. А то что ан zfs они зовут репликацией, диски vm дублируются между хостами и синхронизируются по таймеру.

Да, этот HA.

Без полки оно работает оно так же как и с полкой, но поднимает на оставшейся в живых ноде виртуалки с их дисками на момент последней репликации. Т.е. если у тебя дельта реплики льется раз в 4 часа и ты включил HA на виртуалку с хранилищами на локальном zfs, то ты в этот момент расписываешься в том, что тебя устроит откат по данным на диске и в памяти назад на 4 часа.

В моих задачах это ок – часто главное держать машину живой, а то, что там конфиг чуть устарел, то это решаемо и не авария.

Понятно

Отвалов пулов выжирания оперативки и прочих приколов zfs не наблюдается?

Нет.

Диски в zraid собраны или аппаратный raid и поверх zpool?

Средствами zfs собрано или просто зеркало, или raid-10