FFmpeg\Avconv

Первый вопрос как метаданные не записывать в out.mkv? То есть стереть метаданные вообще?

Погуглить. Осмотреть опции муксера (ffmpeg -h full) и общие опции на этот счёт, при отсутствии - запилить самостоятельно.

как проконтролировать постоянный битрейд видео для libvpx? Задействовав -minrate и - maxrate битрейд не постоянный в этих рамках.

Как проверяешь? Внимательно осмотри опции енкодера и общие опции енкодеров. Проверь, что libvpx вообще такой режим поддерживает. При отсутствии подходящих опций или бажной их работе - делай багрепорт.