LINUX.ORG.RU
Форум — Admin  

Рассыпается кластер proxmox 5.

 , , ,


0

2

Добрый вечер. Есть кластер из трех нод proxmox 5 с такой схемой:

node1 ip1 1.1.1.1 (белый ip провайдера для доступа к ноде из вне) ip2 192.168.1.11 (внутренний ip по которому ноды видят друга)

node2 ip1 2.2.2.2 (белый ip провайдера для доступа к ноде из вне) ip2 192.168.1.12 (внутренний ip по которому ноды видят друга)

node3 ip1 3.3.3.3 (белый ip провайдера для доступа к ноде из вне) ip2 192.168.1.13 (внутренний ip по которому ноды видят друга)

файл hosts идентичен на всех нодах: 

127.0.0.1	localhost
192.168.10.11	pve-node1
192.168.10.12	pve-node2
192.168.10.13	quorum-member

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
в общем, собрал кластер без лишних движений. Перезапуская службы corosync и pve-cluster на всех нодах кластер оживает, но не на долго, буквально через 5-10 минут начинают отваливаться ноды, сначала от мастер ноды, а потом и от друг друга.

Вот лог https://paste.ubuntu.com/25473074/

с сетью все в порядке, никаких запрещающих правил на нодах нет, не пойму в чем дело...

★
← Скрипт вместо шаблонов номеров во FreePBX
whois Бан. →

Вроде corosync требует мульти/юникаста. Такой трафик должен пропускаться свитчем и провайдером. Что в случае просто белых адресов - я бы не гарантировал. Внутренние адреса - аналогично. Смотри вики proxmox

DALDON ★★★★★
()
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от DALDON

По поводу мульти/юникаста в курсе. дампил трафик - мулькаст бегает и ни что ему не препятствует, просто в один прекрасный момент трафик из одной ноды пропадает, а на самой ноде этот трафик отображается, но без остальных двух нод.

Кстати, кластер не мрет на всегда, через какое то время ноды начинают видеть трафик друг друга и кластер собирается, но не на долго.

Попробую еще сетевухи заменить, а то сейчас там стоит гав№но мамонта за 5$.

Sherman ★
() автор топика

Хе, ставил ручками, не с исошки прокса?

Почему имя хостов не FQDN?

Где запись pvelocalhost, мануал читал?

А конфиг кластера где? 

# LD_PRELOAD=libastral.so make solve_the_problem 

Unfortunately, „God mode” is currently unavailable, try back later.

anonymous
()
Ответ на: комментарий от Sherman

дампил трафик - мулькаст бегает и ни что ему не препятствует, просто в один прекрасный момент трафик из одной ноды пропадает, а на самой ноде этот трафик отображается

ни что ему не препятствует

ORLY? tcpdump работает ДО файрвола. То есть либо трафик не принимается из-за того что пакеты бьются(но тогда кластер не оживал бы при рестарте), либо проблема где-то посередине между нодами(свитчи и т.д.).

Пинги между нодами ходят, когда всё разваливается?

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

tcpdump работает ДО файрвола

файрвол пуст, все политики - ACCEPT, да и дампил я с двух сторон.

либо проблема где-то посередине между нодами(свитчи и т.д.).

я тоже так подумал, и прочитав маны про мультикаст proxmox'a решил пройтись против шерсти и отключил igmp-snooping (хотя в манах этого делать не рекомендуют) и вроде бы все устаканилось, 3 часа полет нормальный, видимо в unifi свитчах igmp-snooping как то иначе реализован, возможно из-за этого и терялась часть мультикаста.

Sherman ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Скрипт вместо шаблонов номеров во FreePBX
Admin
whois Бан. →