Так надо посмотреть что за плеер и что он умеет (кодеки аудио/видео, контейнеры). Самые древние DVD-плееры вапче ничего кроме DVD Video не умели.
Так-что самый универсальный вариант - это DVD Video, что-то другое сферический в вакууме плеер играть не обязан.

Обычно divx в контейнере avi поддерживают большинство. Я кодировал когда-то менкодером так:
mencoder "$1" -ovc xvid -xvidencopts bitrate=700 -oac mp3lame -lameopts mode=1:br=128:cbr -o "$1.xvid.avi"
Или в два прохода:

mencoder "$1" -ovc xvid -xvidencopts bitrate=700:pass=1 -nosound -o /dev/null
mencoder "$1" -ovc xvid -xvidencopts bitrate=700:pass=2 -oac mp3lame -lameopts mode=1:br=128:cbr -o "$1.xvid.avi"

Можно и ffmpeg'ом кодировать, но правильных опций не знаю для него. Там вроде важно чтобы профиль получался Advanced Simple@L5, иначе вероятность воспроизведения на разных устройствах будет ниже.

В мануале устройства форматы будут.

в инструкции к плееру написано

алсо, плееры часто поддерживают только ограниченный профиль кодека

Ну если в DVD-плеере mpeg4 поддерживается. То это должен быть файл c расширением .avi. Видео-кодек совместимый mpeg4-asp (divx, xvid и т.п.). Не использовать улучшайзеры типа gmc, qpel. Количество B-кадров не более одного. Размер картинки не более 720x576. В xvid для этого есть профили Аудио-кодек - mp3, mp2. ac3. Размер файла не более двух гигов. Переопределить fourcc видео в DX50 (DIVX, XVID может тоже подойти).

OGV,

а затем утилита mencoder, и, насколько я помню аудио- не забывать в mp3lame поток подставлять; параметры :vbitrate=4000 , а у аудио :abitrate=2000 и, на последок- разрешение 848:528. Ато 720 на что-то там почти все проги воспринимают как... камеру, что является ошибочным.

интересует «пофайловый» формат, а не VIDEO_TS/*.VOB

Без указания модели плеера с таким ограничением задача вполне может оказаться неразрешимой: как указали выше, многие плееры больше ничего и не умели. От себя добавлю - особенно, как это ни печально относится к «брендовым» моделям известных производителей, которые долго гнушались даже поддержку divX добавить. А вот всякие BBK по жизни вполне себе всеядные. И да, плюсую совет God_of_hellfire.