Udp flood

Любые правила iptables с нета не помогают.

Предлагаю Вам начать с того, чтобы залить на какой-нибудь pastebin вывод iptables-save -c.

И да, каким образом проверяете то, как работают добавленные Вами правила?

iptables -A INPUT -p udp --destination-port 25565 -j DROP iptables -A INPUT -p udp --destination-port 25564 -j DROP iptables -A INPUT -p udp --destination-port 25563 -j DROP

Я вижу через iptraf поток UDP к серверу на эти порты, даже правила не помогают.

iptraf и iptables это две разные вещи, и скорее всего что iptraf перехватывает трафик еще до того, как этот трафик будет обработан netfilter.

Смотреть надо на счетчик срабатываний у конкретно взятого правила в выводе iptables-save или iptables -vL.

Канал 100мбит забит.

Если это так, то iptables здесь не помощник. Такие проблемы уже с техподдержкой провайдера разруливаются.