LINUX.ORG.RU

Умер кластер Ceph

 ,


0

2

Доброго времени суток всем!

Работала связка Proxmox + Ceph. Добавил ещё один пул к существующему, добавились лишние PG, кластер Ceph встал колом, машины не запускаются, виртуальные жесткие диски не вытащить, в общем, беда...

Выхлоп Ceph:

cluster 90906158-9b0c-465b-8054-6a972b35f674
     health HEALTH_WARN
            3 pgs down
            116 pgs incomplete
            3 pgs stale
            116 pgs stuck inactive
            3 pgs stuck stale
            116 pgs stuck unclean
            19 requests are blocked > 32 sec
            1 mons down, quorum 0,1,2 0,1,2
     monmap e28: 4 mons at {0=192.168.2.10:6789/0,1=192.168.2.11:6789/0,2=192.168.2.12:6789/0,6=192.168.2.16:6789/0}
            election epoch 1514, quorum 0,1,2 0,1,2
     osdmap e12470: 4 osds: 4 up, 4 in
      pgmap v24388394: 512 pgs, 1 pools, 1417 GB data, 356 kobjects
            1422 GB used, 4135 GB / 5558 GB avail
                 396 active+clean
                 113 incomplete
                   3 stale+down+incomplete

Вот эти вот 116 PGs так и висят в состоянии inactive. На оф. сайте ceph предлагают посмотреть, что же мешает каждой PG восстановиться (ceph pg X.X query). Только вот в мануале в выхлопе в секции «peering_blocked_by» расписана причина, а у меня там пусто.

Помогите, люди добрые, чем можете!

Ответ на: комментарий от Deleted

4 OSD заполнены на 20% исходя из показаний веб-интерфейса.

speed_vm
() автор топика

Никто Вам ничем не поможет. Кластер умер.

incomplete означает фатальное состояние - у Вас отстутствуют данные необходимые чтобы собрать эти PG.

Всё что можно сейчас - выгрузить данные из проблемных PG постредством ceph-objectstore-tool, пересоздать PG с помощью ceph pg force_create и потом залить заэкспортированные объекты обратно используя что угодно, вплоть до /usr/bin/rados

Nastishka ★★★★★
()
Последнее исправление: Nastishka (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.