1024x768@100Hz

Авидюха какая?
Меня вечно достовало эта настройка Modeline.
Я делаю проще играюсь снастройками
HorizSync 60-80
VertRefresh 70-110
Это мои и нифига не из паспорта!
Правда видюха встроенная всего 8Mb при этом разрешение 1024x768 75Mhz, не может она больше

Видео FX5700, но я думаю это не влияет на разрешение с частотой..

попробуй так, может получится:

$ videogen -m=1024x768 -mhf=96 -mvf=160 -mdc=250 -dvf=100
Modeline "1024x768" 106.01 1024 1056 1176 1312 768 770 774 808 # 106 MHz, 80.8 kHz, 100.0 Hz

pixel clock для твоего монитора 250MHz, не так ли?

З.Ы. проверь также, случаем твой dm не "подправляет" ли частотку.

> $ videogen -m=1024x768 -mhf=96 -mvf=160 -mdc=250 -dvf=100

Да, так получилось, насколько я понял ему надо было подсунуть завышенные частоты монитора?

почему завышенные?
я подставил твои (ничего, что "тыкаю?") + поискал значение "dot clock" (== "pixel clock") в гугле для твоей модели, а так:

HorizSync == mhf (max horizontal freqency, kHz)
VertRefresh == mvf (max vertical freq., Hz)
dvf == desired v.f.
mdc == max dot clock

насчёт pixel clock я переспросил потому что списал его с корейской страницы samsung "на глаз".

> почему завышенные?..

А, я просто перепутал - смотрел на частоты первого анонимуса :)

а не достаточно ли было просто заменить "1024x768_100.00" на "1024x768"?