fbset орет, что нет fb0

Так нужно, чтобы FB сначала заработал, тогда и /dev/fb0 появится

vesafb никакого отношения к /dev/fb0 не имеет и использовать fbset не позволяет. matroxfb - другое дело. Можно его запустить при загрузке (video=matrox...), а можно и в процессе работы (modprobe matroxfb)

Ну как это vesafb не имеет отношения к /dev/fb0? fbset действительно использовать не позволяет :( ну так он видеорежим устанавливает ещё в реальном режиме. Но matrox конечно лучше заюзать.