синтаксис ip в iptables

Нет.

допустима ли такая маска 255.255.0.255 ?

Не слышал о таком, может и есть в каком-то непопулярном модуле.

можно ли описать это как-то так 192.168.*.11 или как-то иначе?

посмотри в сторону ipset, да не так элегантно но проблему свою решишь.

можно ли описать это как-то так 192.168.*.11 или как-то иначе?

Про ipset выше написали.

допустима ли такая маска 255.255.0.255 ?

А сами как думаете? 11111111 11111111 00000000 11111111

завтра протестирую, доложу)))

Надеюсь вы про ipset, а не про «тестирование маски».

Для роутинга недопустима, а для фильтрации вполне.