cockroachdb потеря цода

Попробуй в оставшемся дц добавить ещё ноду, тогда кворум появится

А если упадёт этот самый где он добавил ноду - опять упадёт.

Есть кластер из 8 нод, по 4 в двух dc, при выключение одного цода кластер падает целиком из-за недостаточного кворума(протокол raft).

добавь третий датацентр. как ты вообще кворум получил из двух?

аварийную меру уже подсказали - искуственно добавить вес. но это всё до раза, конечно.

вот тут тебе наглядно объяснят, как работает рафт: https://raft.github.io

сделай визуализацию под себя. каждый кружок - это твой дц

Так это как временное решение чтобы вручную поднять и на одном крыле долететь. А так да, без третьего дц смысла нет

да вот в этом и проблема, сервис и консоль БД для действий становится недоступен даже на второй половине хостов. то есть штатными средствами никак.

Кому интересно вот ссыль гитхаб, есть инструмент debug recovery. С помощью него можно иногда поднять вторую часть.