Как объединить несколько нод в кластере 10гбит каналом?

Треугольником соединить?

PVE поддерживает маршрутизацию через openvswitch, но настраивать придётся тебе.

Или подними мосты на каждом сервере и положи в его обе сетевые карты. Но у нас в подобной конфигурации скорость не достигала максимума, или мы что-то делали не так.

Ещё не забыть RSTP включить.

В целом можно. Только ваш вопрос не столько про proxmox как таковой, сколько про настройку сети, ну и физику тоже.

Да, треугольником. Попробую реализовать через ovs, скорее всего это то что нужно, спасибо

А какие преимущества у Proxmox по сравнению с LXD/Incus?

Старые версии LXD и новые Incus ставятся на любой популярный дистрибутив в т.ч. без systemd, а Proxmox прибит к Debian.

IMHO и в целом процесс установки, настройки и запуска первой виртуалки в LXD намного проще и интуитивно понятнее. LXD/Incus на Devuan/Alpine можно установить и настроить за несколько минут:

apt-get install lxd # установка

lxc remote add opsmaru https://images.opsmaru.dev/spaces/922c037ec72c5cc4d7a47251 --public --protocol simplestreams # добавление сервера с образами

lxc image list images:devuan arch=amd64 type=container # поиск нужного образа виртуалки

lxc launch images:devuan/chimaera/cloud cvm1 # запуск первой виртуалки с Devuan Chimaera внутри
lxc info cvm1 # статус запущенной виртуалки
lxc exec cvm1 bash # вход внутрь виртуалки

И кроме традиционных Terraform и Ansible есть специальные CLI инструменты, похожие концептуально на Docker Compose:

https://mottainaici.github.io/lxd-compose-docs/docs/

https://github.com/bravetools/bravetools

При желании можно поставить и графические панельки:

https://lxdware.com/

https://github.com/turtle0x1/LxdMosaic

IMHO концептуально с точки зрения разбивки на компоненты управления походит на связку Docker + Compose + Portainer и в 2024 году как-то проще и логичнее, чем проксмосовый монолит.

Сервер с образами популярных линупсов: https://www.reddit.com/r/LXD/comments/1ayksk9/open_sourced_lxd_incus_image_server/?rdt=41703

Зачем такие извращения? Подключи в комутатор и выдели в отдельный vlan и там организуй внутреннюю сеть для кластера. При необходимости можно легко добавить новый узел без перенастройки существующих.

А какие преимущества у Proxmox по сравнению с LXD/Incus?

Например возможность запускать настроящие VM. Мне, например, нужно крутить и Windows и FreeBSD. Отдельный кластер под это собирать?

Например возможность запускать настроящие VM.

LXD и Incus уже давно умеют рулить виртуалками через libvirt, так что твоё замечание мимо …

А одинаковый CLI интерфейс к KVM и LXC виртуалкам тем более удобен.

Для этого надо коммутатор 10G, пока его, к сожалению нет, поэтому извращения такие

модуль ядра brige однопоточный.