Может не совсем прав и есть более корректное решение, если я не ошибаюсь то демоны работают от имени каких либо пользователей.

К примеру httpd - user -> apache и если в iptables указать, что именно этому пользователю ходить только сюда - через eth0:1 ?

--match owner --uid-owner

Нужно маркировать пакеты(iptables, действие MARK), и заворачивать их в таблицу нового прова(ip rule fwmark). А те правила, что сейчас прописаны вообще неясно для чего нужны, потому как они пытаются заворачивать пакеты возвращающиеся на сервер от провайдера, хотя задача «Настроить, чтобы все пользователи локальной сети пошли через нового провайдера».

Вот тут есть подробный ман со всеми инструкциями на русском языке.

Зачем маркировать то. И так понятно, что все пакеты из сети 172.16.131.0/24 должны идти через интерфейс eth0:1
Но, если пишу правило

iptables -t nat -A POSTROUTING -s 172.16.131.0/24  -j SNAT --to-source 172.16.151.2

И так понятно, что все пакеты из сети 172.16.131.0/24 должны идти через интерфейс eth0:1

Из чего это понятно?

ip rule add from $P0_NET table T1

Сделал так
Добавил таблицу q1

iptables -A POSTROUTING -t mangle -s 172.16.131.0/24  -j MARK --set-mark 100
iptables -t nat -A POSTROUTING -s 172.16.131.0/24  -j SNAT --to-source 172.16.151.2
ip rule add fwmark 100 table q1
ip route add default via 172.16.151.1 dev eth0:1 table q1

ip route flush cache надо после таких изменений делать.

Правда, там выше правильно советуют другой вариант.

Как вариант

/etc/postfix/main.cf :

  inet_interfaces = eth0

  listen oldaddress

И так далее

Может быть и правильно, но
1. Почему T1? Может
ip rule add from $P0_NET table T2
2. Пробовал - тоже не работает.
И еще как сбросить те изменения которые наделал?
те скрипт выглядит так

IF2=eth0:1 
IF1=eth1
IP2="172.16.151.2" 
IP1="78.36.168.210" 
P1="78.36.168.209" 
P2="172.16.151.1"  
P1_NET="78.36.168.208/30" 
P2_NET="172.16.151.0/29" 
IP="/sbin/ip"
P0_NET="172.16.131.0/24" 
# маршрут к шлюзу и маршрут по-умолчанию через этот шлюз
$IP route add $P2_NET dev $IF2 src $IP2 table T2
$IP route add default via $P2 table T2
ip rule add from $P0_NET table T2
$IP route add default via $P1

1. Почему T1? Может
ip rule add from $P0_NET table T2

Под словом «правильно» я имел ввиду подход без маркировки в iptables.

2. Пробовал - тоже не работает.

После изменений в маршрутах надо делать ip route flush cache, иначе настройки не применяются. Т.е. эту команду надо давать перед каждым новым тестом.

И еще как сбросить те изменения которые наделал?

Если маршрутов немного, удалить руками. Если накопилась каша, использовать всё тот же ip route flush(в man ip синтаксис расписан довольно подробно).

те скрипт выглядит так

В iptables маскарад или нат в любом случае должен быть.

В общем, покажи полные настройки в последней версии. В нынешнем скрипте, я так понял, ты выкинул половину команд? Зачем? Надо было просто добавить недостающие ip rule правила. В той статье, по которой ты настраивал, они, кстати, были, а в твоём первоначальном скрипте почему-то нет. Попробуй всё сделать с чистого листа не торопясь.

Какой смысл маркировать в POSTROUTING, после того как будет выбор маршрута? Почему при использовании маркировки SNAT правило пишется для ip-адресов, а не для маркера пакета? Маршрут не надо писать через алиас интерфейса (eth0:1), надо через основное имя (eth0).

Возможно, в таблицу q1 нужно будет дописать другие маршруты (к локальным сетям), иначе вобще всё пойдёт через 172.16.151.1.

Про маркировку пакетов Вы, наверно правы
Дык маркер то нужен для ip route.
Про алиас - завтра попробую.
Вот заработало в таком варианте

route del default
IF2=eth0:1 
IF1=eth1
IP2="172.16.151.2" 
IP1="78.36.168.210" 
P1="78.36.168.209" 
P2="172.16.151.1"  
P1_NET="78.36.168.208/30" 
P2_NET="172.16.151.0/29" 
IP="/sbin/ip"
P0_NET="172.16.131.0/24" 
# маршрут к шлюзу и маршрут по-умолчанию через этот шлюз
$IP route add $P1_NET dev $IF1 src $IP1 table T1
$IP route add default via $P1 table T1
$IP route add $P2_NET dev $IF2 src $IP2 table T2
$IP route add default via $P2 table T2

$IP route add default via $P2

$IP rule add from $IP1 table T1
$IP rule add from $IP2 table T2

$IP route add $P0_NET     dev $IF2 table T2
$IP route add 127.0.0.0/8 dev lo   table T1

$IP rule add from $P0_NET table T2

Дык маркер то нужен для ip route.

Если вы уж вводите маркер, то лучше использовать его по полной (и для SNAT правила), потом будет проще. Допустим какой-нибудь ip-адрес нужно будет пустить по старому маршруту. Тогда только так где маркировка нужно будет править правила, а SNAT правила не трограть.

Алиасы (eth0:1) вобще не нужны. Они тянутся из прошлого, когда не было команды ip. В некоторых дистрибутивах алиасы это единственный способ сделать нескольо ip-адресов на интерфейсе штатными средствами (/etc/sysconfig/network-scripts/... например). Если же адрес цепляется скриптом, его можно добавлять на этот же интерфейс командой ip:

ip addr add 172.16.151.2/29 dev eth1

Postfix (ЕМНИП) умел биндится (bind) на заданый ip-адрес. То есть ему можно прописать, чтобы он «шёл» в инет от адреса 78.36.168.210 и тогда маркировка пакетов будет не нужна.

default route на старого провайдера, в iptables правило «-t nat -A POSTROUTING -s 172.16.131.0/24 -j SNAT --to-source 172.16.151.2». Вроде всё.

Да не все. Откуда сервер знает шлюз в сети 172.16.151.0?
Сделал пока так.
1. Настроил ip route, что бы, пакеты из вне уходили на те же интерфейсы откуда и пришли.
2. default route на новую сеть.
3. Помечаю пакеты, с почтовика и пересылаю их на старый интерфейс

iptables -A OUTPUT -t mangle -p tcp -m tcp --sport 25  -j MARK --set-mark 100
/sbin/ip rule add fwmark 100 table T1

smtp_bind_address = 78.36.168.210

> Откуда сервер знает шлюз в сети 172.16.151.0?

Э?

...
P2="172.16.151.1" # шлюз2
...

ip route add 172.16.151.0/29 via 172.16.151.1

Всё, понял где косяк.