Настройка ipsec

данные передаются
не прибегая к tcpdump

Можно.

Можно ли с помощью iptables запретить весь трафик, кроме ipsec?

Разрешаю.

Остроумно! А как?

1) man ip-xfrm

1. ip xfrm уже посоветовали, но tcpdump проще всего
2. обычно незачем, но если хочется, то нужно запретить между хостами всё, кроме protocol 50 и(или) 51 и ISAKMP с NAT Traversal. И еще ICMP я бы оставил.

не прибегая к tcpdump

Мне tshark больше нравится, а так это самое простое.

ip-xfrm

Это «вроде должно быть так», а ТС хочет «убедиться», что оно действительно так.

данные передаются
не прибегая к tcpdump

Первая буква команды t
Дальше сами догадаетесь?

Можно ли с помощью iptables запретить весь трафик, кроме ipsec?

Модуль policy в iptables.

   policy
       This module matches the policy used by IPsec for handling a packet.

Мне кроме traceroute ничего в голову не приходит, но она мне не поможет

Мне кроме traceroute ничего в голову не приходит,

Именно она.

но она мне не поможет

Как это не поможет? Вы ставите задачу:

данные передаются именно через ipsec

traceroute вполне вам покажет каким маршрутом вы двинетесь.

И насчет

зашифровано

Если вы сами в конфиге не пропишите отключение (null), то по дефолту оно шифруется.

Всё верно, только iving не уточнил, насколько он готов в эту историю вложиться ресурсно:

А) Хватит взглянуть на настройки и меняющийся вывод монитора xrfm, или trafficstatus (whack) - это вариант «мамой клянус».

Б) Либо нужно 24/7 просеивание трафика ( как минимум "tcpdump -nn -i <ethernet> not esp and host A.A.A.A and host B.B.B.B" а то и какие спец.средства посерьёзнее ).

Либо промежуточный вариант.