Тут еще одно веселье обнаружилось: если гнать RTP-поток с нескольких камер и делать постобработку внутри одного ffmpeg (тупо склейка в панораму), то ffmpeg виснет после нескольких первых кадров - что с cuvid, что без него. Камеры по отдельности отображает нормально.