1024x600 работает. У тебя точно работает KMS? Оно вроде само определяет правильное разрешение при загрузке модуля видео. И с любым соотношением сторон проблем быть не должно.
Вам не совсем верно подсказали, в случае с параметром vga нужно указывать номер видео режима из таблицы, которую можно увидеть указав параметр 'vga=ask'.
В случае использования kms нужно указывать параметр video, примерно так: 'video=1366x768-24@75'.
Параметр vga grub2 считает устаревшим и убирает его из строки параметров, передаваемых ядру.
Если разрешение правильное, больше ничего делать не нужно. Ну разве что задать BPP, если собираешься смотреть картинки/видео, а по умолчанию мало цветов.