Есть сервер с 2мя ip адресами. С tcp всё работает хорошо, подключиться могу на любой адрес.

С udp проблема. UDP сервисы начиная от l2tp и даже простейший неткат отвечают с IP адреса который имеет шлюз по умолчанию. Выбирает сорс адрес из кеша маршрутов наверное.

# ip r get 93.81.17.138
93.81.17.138 via 81.xx.xx.254 dev enp0s10 src 81.xx.xx.12 
    cache 

в итоге

16:08:51.104799 IP 93-81-17-138.broadband.corbina.ru.2781 > ipХХ.netХХ.ivn.ttksever.ru.1235: UDP, length 4
16:08:51.108825 IP ip-81-хх-хх-12.ppp.tvoynet.ru.1235 > 93-81-17-138.broadband.corbina.ru.2781: UDP, length 4

CONNMARK пробовал. Ставит метку на коннект, но ответ идет с неправильного сорса и восстановить метку с коннекта не получается.