auto vmbr0
iface vmbr0 inet static
	address  192.168.1.211
	netmask  255.255.255.0
	gateway  62.210.146.1
	bridge_ports none
	bridge_stp off
	bridge_fd 0

Это как address и gateway должны быть вроде как в одной сети

address и gateway должны быть вроде как в одной сети

Да, в доках и примерах я тоже видел, что в одной, но, если я пропишу на шлюз внутренний адрес вида 192.168.х.х , я не попаду на железный сервак, который с гипервизором. Поэтому дал ему шлюз провайдера уже ибо задолбался и не знаю, куда копать :-(

Хотя сейчас еще раз попробую.

Я, кажись, понял в чем дело.

https://serveradmin.ru/ustanovka-i-nastroyka-proxmox/

В eth0 входит провод от провайдера. Этот интерфейс включен в vmbr0 и ему не назначен ip адрес. Второй бридж vmbr1 имеет виртуальный ip адрес и создан для локальной сети виртуальных машин. Дальше вы создаете виртуальную машину для шлюза и добавляете ему оба бриджа — vmbr0 и vmbr1. На первом настраиваете ip в соответствии с настройками провайдера, на втором в данном случае указываете статический ip адрес 10.0.0.2, который будет являться шлюзом для всех виртуальных машин и самого гипервизора в том числе. Это отражено в параметре gateway в свойствах vmbr1. Потом настраиваете виртуальный шлюз и все будет работать.

Вроде мой случай, но ничего не завелось.

Оставлю до лучших времен, сроки поджимают.

https://pve.proxmox.com/wiki/Network_Configuration

Если тебе не подходит «Default Configuration using a Bridge», один из двух следующих примеров точно твой случай.

Хорошо, в случае

Masquerading (NAT) with iptables

В этом случае я для интерфейса eno1 прописываю шлюз хостера (из той же подсети, что и мой «железный» сервак)?

На ВМ, в качестве шлюза указываю ip интерфейса vmbr0.

Я так тоже делал, эту документацию читал.

Вопрос почему нифига не завелось и где я накосячил?

если прокс имеет свой айпи(например внешний), то это айпи прописывается нормально как обычно. затем делается бридж vmbr с локальным адресом. виртулки имют айпи из локального диапазона, а на самом проксе как на роутере для локальной сетики руками прописывается нат. если внешний айпи прокса такой же сетки, что и локалки. то у бриджа bridge_ports eno1. ну и это можно миксовать.

какой у тебя случай? доеду до работы, накидаю примеров.

Перепрочитал все еще раз , итак

Еть 1 белый ip (допустим 7.7.7.36 с gw 7.7.7.33, виртуалки будут иметь локальные ip из сетки 192.168.1.0/24

Proxmox

Поставим для начала openvswitch-switch, можно юзать linux-bridge , но надо идти в ногу со временем.

apt-get install openvswitch-switch

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto eno1
iface eno1 inet static
	address  7.7.7.36
	netmask  255.255.255.224
	gateway  7.7.7.33
	up route add -net 7.7.7.32 netmask 255.255.255.224 gw 7.7.7.33 dev eno1

auto vmbr0
iface vmbr0 inet static
	address  192.168.2.1
	netmask  255.255.255.0
	ovs_type OVSBridge
	bridge_stp off
        bridge_fd 0
	post-up echo 1 > /proc/sys/net/ipv4/ip_forward
        post-up   iptables -t nat -A POSTROUTING -s '192.168.2.0/24' -o eno1 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '192.168.2.0/24' -o eno1 -j MASQUERADE

на виртукках

сетка 192.168.2.0/24 гейт 192.168.2.1

ну и для виртуалок выбираем vmbr0

Спасибо, как будет возможность обязательно проверю.

Пока, увы, пришлось снова отказаться от этой идеи,

т.к. не было времени на эксперименты, а проект надо поднять до дедлайна.

Как вариант, можно на одну из виртуалок поставить VyOS/Quagga/RouterOS (последняя платная либо с ограничением в один мегабит) и выпускать в инет остальные через неё. Но желательно два белых адреса - для хоста виртуализации и для виртуального роутера. С одним тоже можно сделать, но придётся поизвращаться.

Я это к тому, что интерфейс файерволла у проксмокса ужасный. В третьей версии он не умел работать с IPv6, совсем переставая работать при наличии таких адресов на интерфейсах. В четвёртой он не умел пропускать GRE-пакеты, даже при явном указании - пришлось выключать его и по старинке ручками в iptables делать. Так же он не умеет ни нат, ни проброс портов, которые опять же приходится вручную делать на хосте. Так что если не жалко ресурсов, то специализированный виртуальный роутер может помочь сэкономить немного нервов.

ок, возьму на заметку.

пххх, что за ерунда. таи стоит дебиан, все что умеет дебиан умент и прокс. может не надо делать все через гуи?

очень жаль, отмазка слабая)

не надо это брать на заметку, это бред.

Ну заказчика так захотел, побыстрее ;-)

А с проксом я за день не разобрался, это да.

Там бывает сложновато, когда тебе надо вкатить на виртуалки белые айпи, и они , например, из другой подсети нежели главный ip прокмокса. И тогда конфиги разнятся в зависимости от оборудования хостера. Но это не проблема прокса, это кейс по настройке виртуальных бриджей и роутинга в линухе. Главное понять , что такое виртуальный свитч/бридж, а дальше просто роутишь все как если бы у тебя был роутер и локалка.

Ясно.

Уточню. Для виртуалки(ок ) режим сети Bridge и указываем наш бридж?

Я вообще-то и написал, что интерфейс файерволла у проксмокса ужасен и приходится делать ручками.

up route add -net 7.7.7.32 netmask 255.255.255.224 gw 7.7.7.33 dev eno1

Тут слэш нигде не нужен, сеть можно так и указывать 7.7.7.32?

да, виртуалки в режиме бридж делаешь и там будет на выбор только один вариант vmbr0 (если больше не добавишь)

ну там же маска дальше. вообще эта строчка не обязательна, она дублирует gw прописанный и так на интерфейсе.

Да я просто прифигел с варианта ставить роутер на отдельной виртуалке. Это меня привело в ужас. А фаервол в гуи на проксе я ни разу в жизни не открывал, не знаю, ужасен он там или нет, мне как-то удобнее руками писать, так я точно знаю, что получаю. Плюс вечно всякие нетривиальные кейсы бывают.

Тут Крещение Proxmox' ом (комментарий)

чувак ставит как шлюз отдельную виртуалку и бриджует в нее интерфейс, который смотрит в Сеть.

Вполне нормальный вариант. Тот же амазон так делает. Плюс специализированные ОС могут быть не только тупым роутером, но и впн-шлюзом, например.

уже представил , как эта виртуалка-роутер летает по кластеру с балансировкой нагрузки и пытается роутитить.

А зачем ей летать туда-сюда? У амазона тот же VPC-шлюз горизонтально масштабируется в пределах датацентра, при этом прозрачен для пользователя. В проксмоксе виртуалку можно пригвоздить к одной ноде кластера и сказать не рыпаться. Если же датацентр свой, с полным доступом к сетевому оборудованию, можно заюзать какой-нибудь CARP и тоже сделать горизонтальное масштабирование.

Плюс виртуального роутера в другом - удобство настройки. Не придётся тащить на хост виртуализации всякие опенвпны для доступа во внутреннюю сеть. Можно забэкапить виртуалку целиком (а виртуальные роутеры довольно мелкие обычно) со всеми настройками и софтом. Ну и интерфейс у той же VyOS лично мне нравится гораздо больше, чем iproute2/nftables. А у RouterOS вообще весьма качественный GUI в виде winbox. Разница в производительности сети на KVM несущественна, тем более для наколенных кластеров из трёх нод.

Ну типа, получается странно, у нас не хватает мозгов, чтобы использовать iptables, но хватает мозгов, чтобы поставить виртуалку и завернуть трафик через нее. Я не конкретно про вас говорю, а вообще. VPN на виртуалке это еще ок, я сам там делаю. Править же iptables придется 1 раз при настройке и все. Ну и при пробросе портов , если вдруг их надо пробрасывать раз в год. И из-за какого -то и интерфейса через WINbox (sic!) городить этот огород?

А почему бы не обратиться к официальной документации, просто ради прикола?

Потому что именно на тот момент она мне не помогла, в силу ряда причин.

Ну, странно, там есть конкретно твой случай с NAT

Элементарно, дело было вечером, я был уже хорошо уставший плюс к тому до этого обломал зубы об всю эту настройку, следуя одному админскому рецепту из Сети.

Крещение Proxmox' ом (комментарий)

Я делал виртуальный шлюз. Имеет смысл только когда у гипервизора отдельный белый IP, имхо.

У меня сейчас как раз вариант с одним белым IP на гипервизоре и NAT'ом для виртуалок.

Шлюз не на виртуалке?

На гипервизоре. Схема из официальных доков.

На гипервизоре.

Это правильно.

Апну тему

Кстати, а какая разница между применением openvswitch и этой схемой ?

Ты такой милый. Админишь на форумах за деньги, зато работу вместо тебя выполняет лор.

Вот прямо на форумах да? )) И вот прямо таки так выполняет?

ЛОР помогает разобраться с отдельными моментами за что респект сообществу.

А ты анон исполнил и свободен, словно птица ;-)

Вот прямо на форумах да?

Очевидно, что твои задачи с форумов типа серча и фриланс бирж с быдлозаказами. Ты сначала берешь там заказ, а потом думаешь как его решить (т.к. не умеешь).

А ты своим скудным умишком не подумал, что может быть наоборот? ))

Или ты по себе судишь?

Спасибо, конечно, что поднимаешь тему, но флуд это наказуемо, братишка.

скудным умишком
по себе судишь
флуд

Ничего нового.

Ессно!

Это же ЛОР, а не хухры-мухры :-D