XVideo PIP

С помощью XVideo это вряд ли получится. Во-первых, оверлей в Xv часто присутствует в единственном экземпляре. Во-вторых, о полупрозрачности с оверлеями придется забыть. В Xv, в отличие от старого API DirectDraw под Windows, нет даже возможности для задания colorkey для оверлея - то есть даже просто рисование, скажем, иконки поверх оверлея является проблемой.

С другой стороны, с размерами картинок порядка CIF4, если требуется обработать один-два канала видео, можно спокойно делать downscale одной картинки в область на другой картинке "руками", прямо на Си. Просадка по производительности по сравнению с использованием, к примеру, IPP, будет незаметна, да и сама операция - относительно дешева. Это, конечно, если коэффициент уменьшения - не дробный и если можно обойтись просто децимацией вместо усреднения.

Наконец, опыт показывает (т.е. реально проводились замеры), что заливать изображение на видеокарту, чтобы отобразить его в уменьшенном виде - выйдет дороже, чем сделать downscale на CPU, и затем уже уменьшенную картинку передавать на видеокарту. Поэтому подумайте, - если Вас устроит ограниченное число вариантов размера уменьшенной картинки (скажем, вдвое, втрое и вчетверо по каждой из размерностей), - то не бойтесь программного масштабирования.