KVM не работает сеть в виртуальных машинах

Включаю пинг на виртуалке.

Зачем сразу google.com пинговать? Сначала по IP, ведь у тебя похоже не работает резолвинг имен.

Пинг до шлюза не проходит.

• выключить iptables на kvm

  service iptables stop

  проверить пинги
• выключить iptables на хосте. опять проверить пинги
• включить iptables обратно на хоcте и kvm

  service iptables stop

Firewall'ы на обоих системах выключены. Включал\выключал никакой реакции. SElinux выключен.

Тогда на хосте что там в

# brctl show

[dev]# brctl show
bridge name     bridge id               STP enabled     interfaces
br0             8000.001517b1320c       no              vnet0
                                                        eth0
                                                        vnet4
                                                        vnet3
                                                        vnet1
                                                        vnet2

Мост выглядит правильно. Пинг из kvm до хоста и пинг из kvm до соседнего kvm работает? В других виртуалках (vnet2, venetN) со связью всё ок?

Пинг из хоста до kvm - работает.
Пинг из kvm до хоста - работает.
Пинг от одной kvm к другой - не работает.

В одной виртуалке инет работает, в остальных не работает.

Ты виртуалки не клонировал, случаем, вместе с их МАС адресами?

Нет, каждая их них сетапилась отдельно.
Практически на каждой разная ось.

В одной виртуалке инет работает, в остальных не работает.

Т.е. шлюз пингуется только на одной? Остальные kvm его не видят?

Все kvm и хост в одной подсети?

Если приостановить рабочую виртуалку и временно назначить ее IP нерабочей - появится ли пинг до шлюза?

На хосте

iptables -L -v -n

[dev]# iptables -L -v -n
Chain INPUT (policy ACCEPT 411K packets, 473M bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 359K packets, 987M bytes)
 pkts bytes target     prot opt in     out     source               destination

Т.е. шлюз пингуется только на одной? Остальные kvm его не видят?

Да, только на одной. Остальные kvm шлюза не видят.

Все kvm и хост в одной подсети?

Да, одна подсеть.

Если приостановить рабочую виртуалку и временно назначить ее IP нерабочей - появится ли пинг до шлюза?

Приостановил, перекинул настройки с рабочей, эффекта не дало.

Иногда проскакивает сообщение при пинге из kvm в мир.
«destination host unreachable»
Правда как-то произвольно и закономерности нет.

В /etc/libvirt/qemu лежат конфиги для каждой виртуалки с описанием оборудования. Интересует содержимое настроек сетевого интерфейса для рабочей и нербочей kvm. Вот, например, как это выглядит:

[...]
    <interface type='bridge'>
      <mac address='52:54:00:3a:98:1f'/>
      <source bridge='br1'/>
      <model type='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
    </interface>
[...]

Если кроме mac-адреса ничем не различаются - повыключать все виртаулки и сделать service libvirtd restart. Ну можно еще попробовать перезагрузить хост на всякий случай. В RH/Centos 5.х , по слухам, kvm работает неочень. Возможно, я не прав и в 5.8 уже всё починили.

В элементах <interface> указаны только <mac>, рабочий от нерабочего ничем не отличается, кроме как маками.

    <interface type='bridge'>
      <mac address='52:54:00:71:ae:d5'/>
      <source bridge='br0'/>
    </interface>

Перезагружал сервис, перезагружал сервер, ничего не помогло.

Вот что я бы еще попробовал сделать:

1) взял мак-адрес и ip рабочей вируталки и перенес его на нерабочую.

2) склонировал рабочую вируалку, убедился что клон работает (с макадресом и ip оригинала, оригинал выключен). Потом бы поставил ip+mac от нерабочей.

3) если хост пингуется из любой kvm - можно завернуть всё через iptables на хосте. Но это тот ещё костыль.

Заинтересовал 3 вариант, костыль) Как его реализовать? :)

Что-то типа такого

На хосте:

# echo 1 > / proc/sys/net/ipv4/ip_forward

На виртуалке:

# ifdown eth0
# ifconfig eth0 up
# ip addr add dev eth0 <ip_виртуалки>/32 
# ip route del default
# ip route add default gw <ip_хоста> dev eth0

На случай если так просто не заведется - идея состоит в том, чтобы хост стал еще и шлюзом для виртуалок.

Что в /proc/sys/net/bridge/bridge-nf-call-* ?

Предложенный вариант не помог.
Включил форвардинг на хосте и прописал правило.

iptables -t nat -A POSTROUTING -o br0 -j MASQUERADE

Предложенный вариант не помог.

А поконкретнее? Хост не пингуется? Хост не роутит пакеты от виртуалок до шлюза? Маловероятно, что копипаста этих команд заработает сразу.

Но делать через NAT (MASQUERADE) еще больший костыль. Больше настраивать, больше вероятность что-то упустить. Лучше продолжать пинать мост, чем это.

Хост виртуалку пингует, виртуалка хост пингует.
Но пакеты дальше не идут...

200.100.200.4 - хост
200.100.200.1 - основной шлюз хоста

[dev]# ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
From 200.100.200.4: icmp_seq=2 Redirect Network(New nexthop: 200.100.200.1)

В tcpdump-е на хосте видно исходящие пакеты с адресом kvm (200.100.200.4) ?

На хосте

ip route add 200.100.200.4/32 dev br0

ip route add 200.100.200.4/32 dev eth0

Еще есть предположение, что мост может мешать роутингу, и надо поднять сеть хост<->kvm без него.

На выходных съезжу в ДЦ переставлю os на 6.3, посмотрю как на ней будет работать.

Уже предлагали выключить iptables, но выключите, также ip6tables и ebtables.

Не помогло. :(

Они и так выключены (см. выше)

Ну - так чем всё закончилось? А то у меня тоже виртуалки друг друга не видят. Хост - CentOS6.