iptables QoS делать не умеет, используйте tc

и тем и другим.

tc - для создания очередей,дисциплин и классов, для классификации трафика можно использовать tc (для простых случаев), а можно и iptables.

Вообще, лучше это делать средствами веб-сервера (или что у вас отдает видео). В nginx, например, можно настроить все так, чтобы сразу после старта была высокая скорость, а затем уменьшалась, таким образом, видео не будет тормозить при старте.

Это настроено. Но желающих смотреть видео много, поэтому канал сетевой карты забит. Конечно, не хотелось бы этой пляски с портами, но средствами самого Nginx разрулит приоритеты ответов, вроде как, нельзя.

Лимит на скорость?

ПРобовал поставить лимит на скорость (указывается в данном примере указывается 150k per second)? Можно еще поиграться с лимитами на количество соединений per ip

limit_req zone=perip burst=100;

location ^~ /videos/ {
...
limit_rate_after 1m;
limit_rate 150k;
...
}

В принципе, для сложных случаев BPF-классификатор в tc тоже ОК.