Есть FLV, видео из него не нужно, нужно достать звук, а затем сконвертить его во что-то удобочитаемое, желательно flac/mp3/ogg.
Важный момент - это файл во время работы rtmpdump, т.е. постоянно растет.
Если его скормить ffmpeg как -i file.flv, то на выходе будет ровно столько данных, сколько было на момент запуска, т.е. на рост файла оно внимания не обращает, если скармливать через пайп, то не будет ничего, пока буфер не перевалит за MAX_READ_SIZE, дальше оно или начинает конвертить с неизвестного места, или просто вылетает, т.е. править исходник и пересобирать не имеет смысла.
Запуск без rtmpdump вида ffmpeg -i rtmp://cast/movies/ приводит к аналогичному поведению.
VLC поток не сожрал вообще, мплеер долго буферизировал и вообще ничего не проиграл.
Чем бы еще попробовать?