LINUX.ORG.RU
ФорумAdmin

proxmox падает сеть

 ,


0

4

есть 2 сервера. один на прокс 5.1 (вроде) и один новый на 7.3 или 7.4 - в прицнипе не важно ибо поведение абсолютно одинаково. сервера поставлены в стойку в дц. у каждого один порт смотрит в интернет а другим их соединили напрямую (со старого перекачать тяжелые виртуалки на новый). также на каждом сделана внутренняя виртуальная сеть (в которой собственно виртуалки). через какое то время после включения второй сети сеть виртуалок ложится. причем помогает только полная перезагрузка сервера после комментирования второй сети, переподнятие интерфейсов, или рестарт сети никак не помогают

файл настроек

auto lo
iface lo inet loopback

iface eno8303 inet manual

auto vmbr0
iface vmbr0 inet static
        address x.29.136.42
        netmask 255.255.255.128
        gateway x.29.136.1
        bridge-ports eno8303
        bridge-stp off
        bridge-fd 0


auto vmbr1
iface vmbr1 inet static
        address  10.0.0.1
        netmask  255.255.255.0
        bridge_ports none
        bridge_stp off
        bridge_fd 0
        post-up echo 1 > /proc/sys/net/ipv4/ip_forward
        post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/24' -o eno8303 -j MASQUERADE
        post-up iptables -t nat -A POSTROUTING -o vmbr0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.0.0.0/24' -o eno8303 -j MASQUERADE



iface idrac inet manual


iface eno8403 inet manual

#auto vmbr3
#iface vmbr3 inet static
#        address 192.168.3.1
#        netmask 255.255.255.0
#        bridge-ports eno8403
#        bridge-stp off
#        bridge-fd 0

вывод ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eno8303: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
    link/ether ec:2a:72:40:c1:90 brd ff:ff:ff:ff:ff:ff
    altname enp4s0f0
3: eno8403: <BROADCAST,MULTICAST> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether ec:2a:72:40:c1:91 brd ff:ff:ff:ff:ff:ff
    altname enp4s0f1
6: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000
    link/ether 9a:1e:cf:4b:08:81 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::981e:cfff:fe4b:881/64 scope link
       valid_lft forever preferred_lft forever
19: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether ec:2a:72:40:c1:90 brd ff:ff:ff:ff:ff:ff
    inet x.29.136.42/25 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 x::ee2a:72ff:fe40:c190/64 scope link
       valid_lft forever preferred_lft forever
21: vmbr1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether ba:25:2c:63:ca:ec brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.1/24 scope global vmbr1
       valid_lft forever preferred_lft forever

это после комментирования и перезагрузки сети. повторюсь поведение одинаковое на обоих серверах.



Последнее исправление: realzika (всего исправлений: 1)

Ответ на: комментарий от anc

фактически ничего

 23:18:26 pve-dell kernel: [36292.573012] vmbr1: port 1(tap100i0) entered disabled state
Jun  8 23:18:26 pve-dell kernel: [36292.607263] vmbr1: port 1(tap100i0) entered disabled state
Jun  8 23:18:27 pve-dell kernel: [36293.241989] vmbr0: port 1(eno8303) entered blocking state
Jun  8 23:18:27 pve-dell kernel: [36293.241993] vmbr0: port 1(eno8303) entered disabled state
Jun  8 23:18:27 pve-dell kernel: [36293.242034] device eno8303 entered promiscuous mode
Jun  8 23:18:29 pve-dell kernel: [36295.016123] tg3 0000:04:00.0 eno8303: Link is up at 100 Mbps, full duplex
Jun  8 23:18:29 pve-dell kernel: [36295.016132] tg3 0000:04:00.0 eno8303: Flow control is on for TX and on for RX
Jun  8 23:18:29 pve-dell kernel: [36295.016133] tg3 0000:04:00.0 eno8303: EEE is disabled
Jun  8 23:18:29 pve-dell kernel: [36295.016147] vmbr0: port 1(eno8303) entered blocking state
Jun  8 23:18:29 pve-dell kernel: [36295.016150] vmbr0: port 1(eno8303) entered forwarding state
Jun  8 23:18:29 pve-dell kernel: [36295.016188] IPv6: ADDRCONF(NETDEV_CHANGE): vmbr0: link becomes ready
Jun  9 02:13:09 pve-dell kernel: [46774.870609] vmbr0: port 1(eno8303) entered disabled state
Jun  9 02:13:09 pve-dell kernel: [46774.905399] device eno8303 left promiscuous mode
Jun  9 02:13:09 pve-dell kernel: [46774.905431] vmbr0: port 1(eno8303) entered disabled state
Jun  9 02:13:10 pve-dell kernel: [46775.963149] vmbr0: port 1(eno8303) entered blocking state
Jun  9 02:13:10 pve-dell kernel: [46775.963152] vmbr0: port 1(eno8303) entered disabled state
Jun  9 02:13:10 pve-dell kernel: [46775.963195] device eno8303 entered promiscuous mode
Jun  9 02:13:10 pve-dell kernel: [46776.220753] vmbr3: port 1(eno8403) entered blocking state
Jun  9 02:13:10 pve-dell kernel: [46776.220757] vmbr3: port 1(eno8403) entered disabled state
Jun  9 02:13:10 pve-dell kernel: [46776.220802] device eno8403 entered promiscuous mode
Jun  9 02:13:11 pve-dell kernel: [46777.742384] tg3 0000:04:00.0 eno8303: Link is up at 100 Mbps, full duplex
Jun  9 02:13:11 pve-dell kernel: [46777.742394] tg3 0000:04:00.0 eno8303: Flow control is on for TX and on for RX
Jun  9 02:13:11 pve-dell kernel: [46777.742395] tg3 0000:04:00.0 eno8303: EEE is disabled
Jun  9 02:13:11 pve-dell kernel: [46777.742415] vmbr0: port 1(eno8303) entered blocking state
Jun  9 02:13:11 pve-dell kernel: [46777.742418] vmbr0: port 1(eno8303) entered forwarding state
Jun  9 02:13:11 pve-dell kernel: [46777.742463] IPv6: ADDRCONF(NETDEV_CHANGE): vmbr0: link becomes ready
Jun  9 02:13:13 pve-dell kernel: [46779.238708] tg3 0000:04:00.1 eno8403: Link is up at 1000 Mbps, full duplex
Jun  9 02:13:13 pve-dell kernel: [46779.238713] tg3 0000:04:00.1 eno8403: Flow control is on for TX and on for RX
Jun  9 02:13:13 pve-dell kernel: [46779.238714] tg3 0000:04:00.1 eno8403: EEE is enabled
Jun  9 02:13:13 pve-dell kernel: [46779.238731] vmbr3: port 1(eno8403) entered blocking state
Jun  9 02:13:13 pve-dell kernel: [46779.238733] vmbr3: port 1(eno8403) entered forwarding state
Jun  9 02:13:13 pve-dell kernel: [46779.238777] IPv6: ADDRCONF(NETDEV_CHANGE): vmbr3: link becomes ready
Jun  9 09:29:23 pve-dell kernel: [72949.009877] vmbr3: port 1(eno8403) entered disabled state
Jun  9 09:29:23 pve-dell kernel: [72949.096045] device eno8403 left promiscuous mode
Jun  9 09:29:23 pve-dell kernel: [72949.096078] vmbr3: port 1(eno8403) entered disabled state
Jun  9 10:18:48 pve-dell kernel: [75914.577104] tg3 0000:04:00.1 eno8403: Link is down

начиная с момента как упавшая сеть упоминается последний раз (тогда она работала) а я ковырялся с этой второй - не мог понять почему она не работает, потом понял что я оутпут в файерволе не разрешил по ней . потом замерил скорость… а в 9 утра уже не работало… я гасил вторую сеть и пытался завести внутреннюю сеть. второй сервер в итоге был перезагружен, а этот пока оставил для экспериментов

realzika
() автор топика
Ответ на: комментарий от realzika

А на втором девайсе, что в логах в тот же момент? И что бы два раза не вставать вы все логи смотрели? Может в каком-то другом есть подробности.

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от realzika

PS Это не решение, но тем не менее может дать направление куда копать, если tg3 собран модулем, то попробовать rmmod tg3;modprobe tg3, а не перезагружать. Если перезагружаете оба сервера, то на втором также выгрузить и загрузить модуль той сетевки которая там используется.

anc ★★★★★
()