С линуксом не очень

Лучше всего обратиться к тому, кто отвечает за этот сервер.

Proxmox

Теперь я за него отвечаю.... Если не возможно никак восстановить, я конечно всё убью и сделаю заново, только время .....(((

Storage с машинами добавь обратно в веб интерфейсе для начала.

Теперь я за него отвечаю

Самое время прочитать https://pve.proxmox.com/wiki/Backup_and_Restore

В /etc/pve кажется должна быть смонтирована фс с коньфигами. Надо ее починить, смонтировать взад и все заведется.

стораж не монтируется - пишет create storage failed: can't aquire cfs lock 'file-storage_cfg': pve cluster filesystem not online. (500)

Уже читал - бэкапов нет.

Proxmox

Если бы кто смог подключиться ко мне посмотреть - реально восстановить или нет.... чтоб я зря время не терял...(((

Proxmox

При попытке qmrestore пишет Cluster not ready - no quorum?

https://pve.proxmox.com/wiki/Proxmox_Cluster_File_System_(pmxcfs)#_recovery

Проверь файл, погугли как чинить sqlite3. В крайнем случае будет пустая конфигурация, которую можно восстановить руками.

Proxmox

Да самое страшное, что бэкапов нет и файлов с конфигами там где они должны быть нет. как будто потерто... я уже лайвСД загружал - утилиту testdisk. их даже в удаленных не нашел. Я вообще не могу понять как они могли так бесследно исчезнуть... (((

Вы всегда можете написать заявление «по собственному...» и больше не заниматься тем в чём «не очень».

По теме: какого чёрта полез в продакшен без бэкапа?

Ты вообще читаешь, что тебе пишут? Сделай, чтобы файл монтировался, а конфиги можно написать заново, они там наверняка были несложные.

А не скрипт-ликвидатор тебе предыдущий подложил?
КАк-то странно.

файлов с конфигами там где они должны быть нет

Чувак, файлов с конфигами нет, потому что их никогда не было. Есть база sqlite с конфигами, которая монтируется в файловую систему через fuse в /etc/pve и выглядят как пачка файлов. Нештатные, а иногда и штатные ребуты, в неудачные моменты sqlite довольно легко ломают, но он также довольно легко чинится. Почини базу, ребутнись и все взлетит.

Вот тут твои конфиги:
/var/lib/pve-cluster/config.db

Ладно техническая сторона, может и восстановишь, вон знающие советуют.

Но ты лучше организационно-социальную расскажи!

Как ты на такое подписался и, блеять, кто тебе доверил всё это?
Пипец же!

Ты впервые в /b//admin/?

Ага, не часто.

Ну вот тут постоянно приходят за пошаговыми объяснениями «куда нажать» или, в крайнем случае, «что ввести в консоль».

Да фиг знает. Думать же надо, если у тебя там 1С и прочее.
Или предыдущего «ящера» вызывать на консультацию, или бежать, если предыдущий Эрзент не получил бабла и сам у бежал.

в душе неепу, как работает этот самый проксмос и зачем он нужен, предположу только, что надо по новой добавить ВМ и приаттачить к ним образы/разделы прежних дисков.

в каждой ситуации есть плюсы. например эта научит тебя делать бекапы...

pve cluster filesystem not online. (500)

ээ, служба mdadm что ли какая?

не хочу зафлуживать, но ответом работодателя может быть и: дорого же!!!

хотелось бы выудить у аффтара социальный аспект докатывания до такой жизни :-)

Олсо, если /etc/pve не пустой, туда тоже ничего монтироваться не будет по-умолчанию. Смотри что делает инит-скрипт pve-cluster, в общем.

Там как-то так:
sqlite > ceph > fuse > /etc/pve

pve-cluster при наличии кворума монтирует sqlite в папочку с конфигами, оттуда уже конфиги для виртуалок подхватываются

Хм... На сколько целесообразно вообще такое применять в малых предприятиях, если вероятность такого «упадка, как у автора» велика?

Ну, фик знает. Подозреваю, что устанавливал не автор. Эта штука вообще должна быть кластером из нескольких нод, но я ее часто вижу в разных местах в виде standalone серверов :) в примерно вот таком вот состоянии, как у автора.

Я думаю у тебя развалился кластер после того как ты не подумавши добавил сетевую карту и кластерная fs просто не смогла смонтироваться.

Сервак-то в кластере один? Или было несколько? Больше 2-ух? Если несколько, то они должны друг друга видеть. Убедись, что сломанный сервак видит остальные, верни ему кворум.

Если один, то чини базу, но вообще странно, он без кластера кворум не должен пытаться собирать. По-крайней мере раньше так было.

Если там был один сервер, то почему ты пишешь про хранилище кластера? И про добавление сетевухи на «один из серверов»?

И не паникуй, ты конечно ппц, какой раздолбай, что полез в продакшен без бекапов, но с вероятностью в 99% там все восстановится.

хм. не очень надёжная схема хранения конфигов, хотя, может я не вижу всей картины.

не ясно - там кластер из нескольких нод или таки один сервер с raid. если сервер один, то на «Cluster not ready - no quorum» можно не обращать внимания.

каким образом огранизовано хранилище тоже не ясно.

Вот тут твои конфиги: /var/lib/pve-cluster/config.db

по этому пути пусто...

Сервер один, но видимо была попытка создания кластера, он не перезагружался уже очень давно. Совсем не понятно почему удалились файлы настроек при перезагрузке, но это уже не важно. Мне уже похрен на то КАК это произошло... теперь задача ЭТО починить. И если кому очень интересно - прошлый админ умер. А теперь по делу: Разделы с дисками виртуалок есть. Я их вижу по команде lsblk. Эксперимента ради я на другой (тестовой) машине установил Proxmox и развернул на нем три ВМ. Хочу понять какие файлы где должны быть и их содержимое. Например содержимое файла /var/lib/pve-cluster/config.db Может мне удастся все-таки восстановить виртуалку.

Я в принципе хочу вынести все эти серверы (виртуальные) каждый на отдельную физическую тачку. (по мне так надежнее) и не будет ситуации, когда (все яйца в одной корзине). Можно ли, ... думаю, что можно... как-то смонтировать эти разделы и вытащить из них информацию - скопировать на внешний диск и потом вкатить на физическую машину....

Например содержимое файла /var/lib/pve-cluster/config.db

Возьми с другого компа, добавляй виртуалки с существующими дисками.

Разделы с дисками виртуалок есть

так создать по новой и приаттачить пробовал?

а что пишет locate -i config.db ?
и на всякий случай уж locate -i *.db

хочу вынести все эти серверы (виртуальные) каждый на отдельную физическую тачку. (по мне так надежнее)

Ага, и точно так же не будешь делать резервных копий.

Так надо же ситуацию описывать. А то получились танцы с бубном и никто понять не может, какого лешего всё так происходит.

Я в принципе хочу вынести все эти серверы (виртуальные) каждый на отдельную физическую тачку. (по мне так надежнее)

и сделаешь большую глупость. Сейчас 2018 год. Все сервисы по возможности должны быть виртуализированны. У прокмокса есть замечательный мезанизм бэкапов и восстановлений.

Теперь по проблеме. По хорошему тебе не нужны конфиги виртуалок. Тебе нужны их диски. С большой вероятностью это просто файлы. ёа если нет и там было хралилище в виде пула, то тебе надо работать с ним напрямую и эксопртировать имиджи.

Имея файлы ты создаешь виртуалку на любом другом проксе или просто kvm, даешь отдаешь ей диск и все. все будет работать.

Можно ли, ... думаю, что можно... как-то смонтировать эти разделы и вытащить из них информацию

Да! этим и надо заняться. но не надо выкатывать их на физическую машину, это регресс.

Найди специалиста и пусть он тебе поможет.

Со специалистами в нашем Жоподрищенске очень туго. Их нет. Теперь по существу: текущий проксмокс раздела с дисками не видит, т.е. он его не примонтирует. Может нужно переустановить поверх Proxmox? А не затрет ли он инфу о разделах?

текущий проксмокс раздела с дисками не видит

Что значит «не видит»?

Может нужно переустановить поверх Proxmox? А не затрет ли он инфу о разделах?

Давай забудем на время восстановления слово Proxmox. Proxmox это посути набор скриптов и сервисов на debian. Те у тебя там дебиан.

И рассмотрим самый плохой для нас вариант. Типа там lvm и zfs-pool.

поехали

lvscan
df -h
fdisk -l
cat /proc/mdstat

К сожалению, я через 15 минут уезжаю в отпуск до понелльника. Но тут есть куча людей, которые могут разобрать эту ситуацию.

Нужно изменить вопрос с «ой, все пропало» на «помогите восстановить имиджи виртуалок»

Но для начала надо понять, каким спопобом они храняться в данном инсталле.

А не затрет ли он инфу о разделах?

Если ставишь не дебиан и поверх него прокмокс, а сразу с iso прокмокса, то затрет.

Я же говорю - из под вебинтерфейса проксмокса не видно хранилиша с дисками виртуалок. видно только хранилище local. Если я поверх переустановлю Proxmox он затрет хранилище с дисками виртуалок?

вебинтерфейса проксмокса

забудь про веб интерфейс сейчас. Все через терминал ( ssh)