Эксперимент (ffmpeg -f x11grab -s 1280x800 -r 30 -i :0.0 -f null -) показал, что фпс скринкаста проседает не на чтении данных с х11 (вышеобозначенная команда показывает все 30), а на перекодировании их на лету в нечто хранибельное на жёстком диске (проседает до 10-15).
Для rawvideo судя по всему не хватает скорости записи на хард. Mpeg1video с qscale 2, h264 с пресетом lossless-ultrafast и mjpeg желаемого фпс не дали.