Про Proxmox Cluster Manager

Имеет смысл создавать один Proxmox Cluster Manager

Имеет смысл юзать oVirt.

Спасибо.

Не за что.

https://pve.proxmox.com/wiki/Cluster_Manager вижу

Requirements
All nodes must be in the same network as corosync uses IP Multicast to communicate between nodes (also see Corosync Cluster Engine). Corosync uses UDP ports 5404 and 5405 for cluster communication.

Note	Some switches do not support IP multicast by default and must be manually enabled first.
Date and time have to be synchronized.

SSH tunnel on TCP port 22 between nodes is used.

If you are interested in High Availability, you need to have at least three nodes for reliable quorum. All nodes should have the same version.

We recommend a dedicated NIC for the cluster traffic, especially if you use shared storage.

Root password of a cluster node is required for adding nodes.

Вот здесь https://toster.ru/q/434549 пишут

Трафик между нодами должен быть в рамках одного ДЦ. Как в общем и хранилище ceph.

А чего ты от кластера хочешь ?
Соединить то в кластер можно через tinc, но я не вижу причин.

Вот это был хороший вопрос. Ясно, что через океан никакого HA не получится. А что еще возможно получить?

Миграцию, централизованное управление(из одной админки все хосты рулишь).

миграция через океан?

если у тебя гигабит и более, то может быть будет удобно на не жирных виртуалках.

Ну так-то есть и внутрення сеть у хостера между его ДЦ. Пинг между AMS1 и DFW2 по приватной сети 107 мс. Не станет помехой такой большой пинг?

Могу сказать одно пробывали (27rus<-->66rus. см. p.s. один континет не взлетело)
1. Свой DNS который меняет ip если хост упал. И все настроены ТОЛЬКО на него. (для чего думаю понятно).
2. Канал безлим. Скорость космическая.
3. ceph или подобное. (мало вероятно!!!, что будет работать, и не ловить глюканата-натрия) но возможно.
4. Как говорится геморой для данной системе точно обеспечен adminам. И скорей всего вам.
p.s. Всеравно УМРЕТ см. 2,3. (словили цикл)
Ну а как vmware реализует пока понять не удалось (НО ОНО РАБОТАЕТ проверяли)

Больше проблем, чем пользы от кластера в твоем случае.

Нормальная миграция это через RDMA, вот это все.

Кажется, ясно. По кластеру на ДЦ.

ceph слишком капризный для такого, можно класть образы виртуалок в гластер и возможно это кое-как будет работать, но нафиг такое надо.

Гластер и дрбд и в локальной сети порой залипают, если верить топикам из горящего танка. Городить любое хранилище через континенты - совсем самоубийственно.

Там есть что-то типа репликации, как я себе представляю это как-то должно работать не влияя на работу собственно хранилища, которое в рамках одного дц https://docs.gluster.org/en/latest/Administrator Guide/Geo Replication/

Сам не пробовал.

Ах да corosync и вот это всё тоже то еще поделие, ТС намучается.

Рассказывай страшилки.

Во всем этом опенсоурсом хозяйстве для отказоустойчивого кластера довольно много точек отказа, там прилично багов и особенностей, какие-то вещи вообще не реализованы. Желательно иметь опыт с этим и понимать как там что работает. Но все зависит от задач и специфики использования, proxmox я так понимаю много за тебя делает, с ним, наверное проще.