Можно ли iptables установить нужное значение TOS

>По идее можно поле 8-ми битное. И писать должно давать любое значение.

По идее, поле хоть и восьмибитное, но состоит из трех, независимых, частей. Первые три бита - приоритет, следующие четыре бита - собственно тип обслуживания и последний бит - должен быть нулем. Это в классическом виде, с которым и работает iptables. При использовании некоторых умных технологий QoS, это поле может принимать и другие значения конечно, только это уже не к iptables :)

iproute2 tc вроде умеет DiffServ, но что конкретно я не выяснял. Смотри в сторону конфига ядра Сети->QoS->dsmark и всего с ним связанного.

На lartc.org кое-что есть из документации.

А iptables конечно не позволит установить 0х5, поскольку это 00000101 в бинарном, т.е. просто установка битов max reliability и последнего, запрещенного.

В /extensions/libipt_TOS.c исходников iptables проводится эта проверка, если интересно.