LINUX.ORG.RU
решено ФорумAdmin

Proxmox 5.1 падает сеть lxc контейнер роутер

 ,


0

1

Имеем
1.proxmox 5.1 ip 192.168.28.254/24 gw 192.168.28.2 vlan 28 одна сетевая подключена к cisco asa 5505 vlan 28,128,228.
2.lxc контейнер с тремя интерфейсам типа роутер
ip 192.168.28.2/24 gw 192.168.28.1 vlan 28
ip 192.168.128.2/24 vlan 128
ip 192.168.228.2/24 vlan 228
Как только включаю контейнер происходит падение сети полностью, сперва недоступен контейнер потом и сам proxmox. Комп с которого все делаю тоже на vlan 28. На cisco в логах все нормально, порт не отваливался. Спустя минуту другую proxmox становится виден а вот контейнер уже нет пока его не перезагрузить, ну а потом все по кругу. Есть типа такой машины на esx 6.5 которую хочу перевести на proxmox. Если сменить адреса на 192.168.28.3 128.3 228.3 то все работает и не чего не валится, как только так сказать даю нагрузку т.е. заменяю шлюз который на esx все валится.
В логах сыплется лог lxc контейнера

Mar 27 08:31:31 router kernel: [142128.619265] e1000e 0000:00:19.0 eno1: Detected Hardware Unit Hang:
Mar 27 08:31:31 router kernel: [142128.619265]   TDH                  <3c>
Mar 27 08:31:31 router kernel: [142128.619265]   TDT                  <42>
Mar 27 08:31:31 router kernel: [142128.619265]   next_to_use          <42>
Mar 27 08:31:31 router kernel: [142128.619265]   next_to_clean        <37>
Mar 27 08:31:31 router kernel: [142128.619265] buffer_info[next_to_clean]:
Mar 27 08:31:31 router kernel: [142128.619265]   time_stamp           <1021cfece>
Mar 27 08:31:31 router kernel: [142128.619265]   next_to_watch        <3c>
Mar 27 08:31:31 router kernel: [142128.619265]   jiffies              <1021d05b0>
Mar 27 08:31:31 router kernel: [142128.619265]   next_to_watch.status <0>
Mar 27 08:31:31 router kernel: [142128.619265] MAC Status             <80083>
Mar 27 08:31:31 router kernel: [142128.619265] PHY Status             <796d>
Mar 27 08:31:31 router kernel: [142128.619265] PHY 1000BASE-T Status  <3800>
Mar 27 08:31:31 router kernel: [142128.619265] PHY Extended Status    <3000>
Mar 27 08:31:31 router kernel: [142128.619265] PCI Status             <10>
Mar 27 08:31:33 router kernel: [142130.603276] e1000e 0000:00:19.0 eno1: Detected Hardware Unit Hang:
Mar 27 08:31:33 router kernel: [142130.603276]   TDH                  <3c>
Mar 27 08:31:33 router kernel: [142130.603276]   TDT                  <42>
Mar 27 08:31:33 router kernel: [142130.603276]   next_to_use          <42>
Mar 27 08:31:33 router kernel: [142130.603276]   next_to_clean        <37>
Mar 27 08:31:33 router kernel: [142130.603276] buffer_info[next_to_clean]:
Mar 27 08:31:33 router kernel: [142130.603276]   time_stamp           <1021cfece>
Mar 27 08:31:33 router kernel: [142130.603276]   next_to_watch        <3c>
Mar 27 08:31:33 router kernel: [142130.603276]   jiffies              <1021d07a0>
Mar 27 08:31:33 router kernel: [142130.603276]   next_to_watch.status <0>
Mar 27 08:31:33 router kernel: [142130.603276] MAC Status             <80083>
Mar 27 08:31:33 router kernel: [142130.603276] PHY Status             <796d>
Mar 27 08:31:33 router kernel: [142130.603276] PHY 1000BASE-T Status  <3800>
Mar 27 08:31:33 router kernel: [142130.603276] PHY Extended Status    <3000>
Mar 27 08:31:33 router kernel: [142130.603276] PCI Status             <10>
Mar 27 08:31:33 router kernel: [142130.731238] vmbr0: port 1(eno1) entered disabled state
Mar 27 08:31:40 router kernel: [142137.689457] vmbr0: port 1(eno1) entered blocking state
Mar 27 08:32:54 router kernel: [142211.596952] e1000e 0000:00:19.0 eno1: Detected Hardware Unit Hang:
Mar 27 08:32:54 router kernel: [142211.596952]   TDH                  <c3>
Mar 27 08:32:54 router kernel: [142211.596952]   TDT                  <e8>
Mar 27 08:32:54 router kernel: [142211.596952]   next_to_use          <e8>
Mar 27 08:32:54 router kernel: [142211.596952]   next_to_clean        <c1>
Mar 27 08:32:54 router kernel: [142211.596952] buffer_info[next_to_clean]:
Mar 27 08:32:54 router kernel: [142211.596952]   time_stamp           <1021d540f>
Mar 27 08:32:54 router kernel: [142211.596952]   next_to_watch        <c3>
Mar 27 08:32:54 router kernel: [142211.596952]   jiffies              <1021d56b8>
Mar 27 08:32:54 router kernel: [142211.596952]   next_to_watch.status <0>
Mar 27 08:32:54 router kernel: [142211.596952] MAC Status             <80083>
Mar 27 08:32:54 router kernel: [142211.596952] PHY Status             <796d>
Mar 27 08:32:54 router kernel: [142211.596952] PHY 1000BASE-T Status  <7800>
Mar 27 08:32:54 router kernel: [142211.596952] PHY Extended Status    <3000>
Mar 27 08:32:54 router kernel: [142211.596952] PCI Status             <10>
лог proxmox
Mar 27 08:27:18 pvexeon kernel: [141875.223931] e1000e: eno1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: Rx/Tx
Mar 27 08:29:27 pvexeon kernel: [142004.616645] e1000e 0000:00:19.0 eno1: Detected Hardware Unit Hang:
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   TDH                  <dc>
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   TDT                  <4>
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   next_to_use          <4>
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   next_to_clean        <da>
Mar 27 08:29:27 pvexeon kernel: [142004.616645] buffer_info[next_to_clean]:
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   time_stamp           <1021c8975>
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   next_to_watch        <dc>
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   jiffies              <1021c8c98>
Mar 27 08:29:27 pvexeon kernel: [142004.616645]   next_to_watch.status <0>
Mar 27 08:29:27 pvexeon kernel: [142004.616645] MAC Status             <80083>
Mar 27 08:29:27 pvexeon kernel: [142004.616645] PHY Status             <796d>
Mar 27 08:29:27 pvexeon kernel: [142004.616645] PHY 1000BASE-T Status  <7800>
Mar 27 08:29:27 pvexeon kernel: [142004.616645] PHY Extended Status    <3000>
Mar 27 08:29:27 pvexeon kernel: [142004.616645] PCI Status             <10>

★★
Ответ на: комментарий от anonymous

Оно то понятно, но только роутить пакеты не сложная задача. NAT на нем не нужен.

pvvking ★★
() автор топика

Здравствуйте! А как у вас контейнер связан с внешней сетью? Покажите /etc/network/interfaces ноды и контейнера. Если сама нода на проксмоксе, как вы говорите, становится видна через минуту после падения, то вы можете зайти в контейнер pct enter 100 где 100, естественно, id контейнера. И посмотреть, что происходит там в логах, а так же советую посмотреть через tcpdump и попытаться что-то попинговать, если интерфейсы вообще будут подняты.

GT
()
Ответ на: комментарий от GT

А как у вас контейнер связан с внешней сетью?

Вроде как я написал одним шнурком с vlan cisco.

И посмотреть, что происходит там в логах

У меня zfs я и так могу смотреть логи. В логах то что в первом посте.
Если зайти в контейнер то он не чего не пингует arp таблица чистая, интерфейсы подняты.
lxc

root@pvexeon:/etc/pve/lxc# cat 200.conf
arch: amd64
cores: 4
hostname: router
memory: 1024
net0: name=eth0,bridge=vmbr0,gw=192.168.28.1,hwaddr=5A:0D:D4:44:E6:18,ip=192.168.28.23/24,tag=28,type=veth
net1: name=eth1,bridge=vmbr0,hwaddr=DA:EC:EB:FC:DB:ED,ip=192.168.128.66/24,tag=128,type=veth
net2: name=eth2,bridge=vmbr0,hwaddr=C6:50:1D:8D:D5:B1,ip=192.168.228.66/24,tag=228,type=veth
ostype: debian
rootfs: tanksas:subvol-200-disk-1,size=18G
swap: 512
proxmox
auto lo
iface lo inet loopback

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
        bridge_ports eno1
        bridge_stp off
        bridge_fd 0
        bridge_vlan_aware yes

auto vlan28
iface vlan28 inet static
        address 192.168.28.254
        netmask 255.255.255.0
        gateway  192.168.28.2
        vlan_raw_device vmbr0

pvvking ★★
() автор топика

Ну провел эксперимент и поднял все тоже только в KVM, хост остался прежним. ВСЕ работает. Осталось только понять почему контейнер lxc не тянет простой роутинг между сетями.

pvvking ★★
() автор топика
Ответ на: комментарий от pvvking

Я имел ввиду, как у вас контейнер связан с сетью. Теперь я вижу, что у вас бридж до контейнера. Теперь вижу, что бридж. А виртуалку KVM как настраиваете с сетью? Бриджом или там NAT? У Проксмокса в в официальной вики по настройке сети говорится, что при настройке сети до контейнеров бриджом

Most hosting providers do not support the above setup. For security reasons, they disable networking as soon as they detect multiple MAC addresses on a single interface.

То есть твоя циска вполне может банить контейнер, из-за того, что видит два мака на одном интерфейсе. А виртуалка поднимается не просто одним бриджом, поэтому и работает. Судя по симптомам это очень похоже на правду, но маловато входных данных. В той же вики можешь посмотреть, как настраивают сеть до контейнера роутингом, но в твоём случае, боюсь, что это не подойдёт. Ещё можно покурить прокси арп на этот счёт, который бы обманывал циску и показывал только один мак. Вот как-то так.

GT
()
Ответ на: комментарий от GT

На cisco все нормально она не блочит т.к. на этой машине (proxmox) не один контейнер все в vlan. KVM точно также подключен к бриджу. ВСЕ одинаково кроме LXC и KVM.

pvvking ★★
() автор топика
Ответ на: комментарий от anonymous

Зачем на роутере включать промис если все идет по vlan. Но попробую авось камень преткновение в этом.

pvvking ★★
() автор топика
1 марта 2019 г.
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.