А как правильнее сделать?

Возможно, нужен clvm.

Нужны снапшоты для создания бэкапов VM, если верить http://xgu.ru/wiki/CLVM, то таковые не поддерживаются.

К тому-же на серверах debian11/12, apt не находит ничего с именем clvm, собирать из исходников и ставить будет проблемно

Сколько не гуглю, похоже что clvm мертв или в каком-то роде не поддерживается. Для debian старше 9(stretch) уже не упоминается и в репозиториях отсутствует.

Зато наткнулся на lvm2-lockd, который как минимум есть доступный к установке в репозитории, но пока вообще без какой либо информации о его возможностях и/или документации

В теме не шарю, мимо проходил: https://pve.proxmox.com/wiki/Storage#_storage_types (колонка Shared в табличке). Как отправная точка может быть полезно.

Пример проблемы: Я создаю lvm том на серверА и серверБ его видит(lvs), но если создать lvm том на серверБ, то серверА его не видит

хм, собрал стенд силами VM. Не могу повторить проблему. Но у меня и диски сильно меньше объёмом и система «актуальной версии».

Может это и не является уже проблемой. Ещё попробую всякое, что в голову придёт…

А, хотя поспешил.

Хоть и на тестовом стенде lvs/vgs теперь всегда показывают актуальные данные, dmsetup «отстаёт», что логично, как он узнает, что другой сервер создал/удалил новый lvm.
Как без перезагрузки заставить систему обновить карту устройств чтобы файлики в /dev создались с наскока не понял, но сейчас наверное не важно.

Попробую запустить lvm2-lockd и посмотреть что поменяется…

Переходи на ceph. Конский оверхед и головняк при администрировании - в комплекте 🤡

Трогал когда-то давно, тогда не очень осилил. Сюда увы не применимо т.к. потребует замены полки на что-то умное в количестве несколько штук.

Да, если бы дисковая полка могла собой закрыть raid/lvm и отдавать нарезанные тома скажем по iscsi этой темы бы не было.

Кажется я не понял что делает lvm2-lockd.

Следую инструкции из https://manpages.debian.org/testing/lvm2-lockd/lvmlockd.8.en.html

Этап «start VG on all hosts» комманда vgchange --lock-start выполняется только на одном из узлов.
Если её попробовать повторить на других узлах, то на первом sanlock ругается, что потерял lock и более вообще ни как не даёт работать с lvm

Т.е. только один узел может взять lock на всю VG, думал, что lock будет на LV.

И соотв без наличия lock нельзя даже активировать VG. Возможно я чего-то упускаю, перечитаю завтра ещё раз на свежую голову…

Т.е. только один узел может взять lock на всю VG, думал, что lock будет на LV.

Всё заработало когда я убрал mdadm из тестового стенда и в lvm отдал напрямую диски.
Теперь работает как ожидается. На каждом сервере надо точечно активировать нужные ему LV и можно пользоваться. И SNAP в рамках узла активировавшего LV как минимум создаётся.

Но нужен raid поверх дисков, буду дальше копать…

Но нужен raid поверх дисков, буду дальше копать…

lvm raid собирается и работает. Ранее такое не трогал, непривычно.

Наверное пока на этом остановлюсь. Мне достаточно для ответа на изначальный вопрос задачи.

Но всегда открыт для попробовать разное если кто решит предложить ещё какие-то способы реализации.

может был не слишком подробен в комментариях выше, обобщаю:

Условно достаточно https://manpages.debian.org/testing/lvm2-lockd/lvmlockd.8.en.html

У меня получился такой список заметок:

• raid придётся собирать силами lvm
• соотв адаптировать под это мониторинг (т.к. я к примеру это не трогал, у меня везде mdadm)
• для каждого узла потребуется написать некий сервис/скрипт, который после старта узла (или перед запуском VM) активирует нужные узлу LV тома (и потом соотв деактивирует)
  • соответственно следует ожидать, что активация «упадёт» если LV уже кем-то ещё активирован и тогда надо ругнуться куда-то в мониторинг

Я бегло покрутил это на тестовой стойке из VM, меня вроде устроило. Прям сейчас всё это делать не надо т.к. сервера пока ещё закупят, цель была найти способ и спланировать. Мне хватило.

PS. есть кнопка предпросмотра рядом с отправкой комментария

Да, если бы дисковая полка могла собой закрыть raid/lvm и отдавать нарезанные тома скажем по iscsi этой темы бы не было.

я чисто на всякий случай спрошу, почему не сложилось с каким-нибудь TrueNAS?

Потому что дано JBOD дисковая полка и «надо ещё сервер и чтобы все 3 сервера крутили VM размещённые на этой одной дисковой полке».
Мне надо было или доказать что так нельзя(обосновать покупку СХД) или найти способ собрать из текущего.

PS. Любые решения с *nas в данном контексте приравниваю к «докупить/заменить оборудование» чего и пытался изначально избежать.

Что в этих шагах заставит вас «докупить/заменить» оборудование?

1. Установить TrueNAS на хостовую машину

2. Подключаете дисковую полку к TrueNAS

3. Настраиваете рейды, нарезаете ISCSI таргеты

4. Машины при запуске виртуалок, подкладывают им смонтированный по iscsi диск с TrueNAS

У меня 3 равноценных хост машины.

Ваш вариант подразумевает всегда активный «главный» хост.
Выключим хост прервётся всё.

Так не устраивает.

Дисковая полка Supermicro CSE-826BE1C-R741JBOD с подключенными в неё 4 дисками

Выключим хост прервётся всё.

Я может что не понимаю, но если выключится Supermicro CSE-826BE1C-R741JBOD хост с полкой, то тоже «прервется все» ?

Верно, если отключится полка, то тоже «всё встанет».
Поэтому для полки зарезервировано питание. А резервации сервисов можно добиться со стороны подключенных к ней серверов.

Но тут данный вопрос не рассматривается.

если выключится Supermicro CSE-826BE1C-R741JBOD хост с полкой

Какой еще «хост с полкой»? Нет никакого хоста с полкой.

Есть просто дисковая полка, к которой равноценно подключены несколько машин. Сломается любой хост - не проблема, есть другие.

В самой полке зарезервированы компонетнты, которые выходят из строя чаще всего (БП, вентиляторы, и т.д.), потоэму вероятность ее поломки довольно низка.