Нужно провернуть такой трюк, сдеать в ffmpeg два последовательных масштабирования, но с разными параметрами sws_flags. Т.е. два подряд scale в vf поставить можно, но sws_flags-то отдельно задаётся...
Выливать промежуточный результат на диск совершенно не хочется. Пока придумал только сцепить два ffmpeg через pipe, но как-то медленновато это работает и не устойчиво. Иногда второй ffmpeg просто падает с ошибкой чтения. А иногда нет.