Путем долгого смотрения в вывод top заметил, что перед тем как поднимется пинг и роутер замрет, это процесс начинает отъедать кучу процессора(2.5%, в обычное время он спит)
Укажи в нем (dnsmasq) что нужно использовать только интерфейсы твоей локальной сети, и еще у него лог есть (можно в конфиге определить). Только 2,5% CPU это не так много.