XF86Config-4 + 865G + NEC FE750+

Этот драйвер поддерживает только vesa-режимы. Т.е. максимум 85Гц. Смотри /var/log/Xfree.0.0.log для списка поддерживаемых режимов

(II) I810(0): Supported VESA Video Modes:
(II) I810(0): 720x400@70Hz
(II) I810(0): 720x400@88Hz
(II) I810(0): 640x480@60Hz
(II) I810(0): 640x480@67Hz
(II) I810(0): 640x480@72Hz
(II) I810(0): 640x480@75Hz
(II) I810(0): 800x600@56Hz
(II) I810(0): 800x600@60Hz
(II) I810(0): 800x600@72Hz
(II) I810(0): 800x600@75Hz
(II) I810(0): 832x624@75Hz
(II) I810(0): 1024x768@87Hz (interlaced)
(II) I810(0): 1024x768@60Hz
(II) I810(0): 1024x768@70Hz
(II) I810(0): 1024x768@75Hz
(II) I810(0): 1280x1024@75Hz
(II) I810(0): 1152x870@75Hz
(II) I810(0): Manufacturer's mask: 0
(II) I810(0): Supported Future Video Modes:
(II) I810(0): #0: hsize: 640  vsize 480  refresh: 85  vid: 22833
(II) I810(0): #1: hsize: 800  vsize 600  refresh: 85  vid: 22853
(II) I810(0): #2: hsize: 1024  vsize 768  refresh: 85  vid: 22881
(II) I810(0): #3: hsize: 1152  vsize 864  refresh: 75  vid: 20337
(II) I810(0): #4: hsize: 1280  vsize 960  refresh: 85  vid: 22913
(II) I810(0): #5: hsize: 1280  vsize 1024  refresh: 85  vid: 39297
(II) I810(0): #6: hsize: 1600  vsize 1200  refresh: 75  vid: 20393
(II) I810(0): Supported additional Video Mode:
(II) I810(0): clock: 157.5 MHz   Image Size:  315 x 236 mm
(II) I810(0): h_active: 1280  h_sync: 1344  h_sync_end 1504 h_blank_end 1728 h_border: 0
(II) I810(0): v_active: 1024  v_sync: 1025  v_sync_end 1028 v_blanking: 1072 v_border: 0
(II) I810(0): Ranges: V min: 55  V max: 160 Hz, H min: 31  H max: 96 kHz, PixClock max 210 MHz
(II) I810(0): Monitor name: NEC FE750+

что-то отсюда можно извлечь, чтобы написать верный модлайн?

Самое лучшее что я вижу это:
(II) I810(0): #0: hsize: 640 vsize 480 refresh: 85 vid: 22833
(II) I810(0): #1: hsize: 800 vsize 600 refresh: 85 vid: 22853
(II) I810(0): #2: hsize: 1024 vsize 768 refresh: 85 vid: 22881
(II) I810(0): #4: hsize: 1280 vsize 960 refresh: 85 vid: 22913
(II) I810(0): #5: hsize: 1280 vsize 1024 refresh: 85 vid: 39297
набей в консоли
gtf 1024 768 85
и получишь modeline который должен работать.
в общем случае:
man gtf

Вот помню когда у меня был savage4 он тоже мой modeline округлял до ближайшего стандартного, решил проблему следующим образом: вместо 640х480 (монитор был старенький) создал 640х478, тогда он написал: not suitable bios mode found и использовал то то я ему написал, выжал из всоего древнего монитора 66Гц вместо 60-ти. Попробуй может тоже получится.

варианты gtf'а к сожалению не работают :
ни на 1024 768 85, ни на 1280 1024 85
(хотя железо на это способно, потому как на винде 1280x1024 85Hz держит)
я собственно поэтому сюда и обратился

а отсюда :
...
(II) I810(0): Supported additional Video Mode:
(II) I810(0): clock: 157.5 MHz Image Size: 315 x 236 mm
(II) I810(0): h_active: 1280 h_sync: 1344 h_sync_end 1504 h_blank_end 1728 h_border: 0
(II) I810(0): v_active: 1024 v_sync: 1025 v_sync_end 1028 v_blanking: 1072 v_border: 0
(II) I810(0): Ranges: V min: 55 V max: 160 Hz, H min: 31 H max: 96 kHz, PixClock max 210 MHz
...
как составить модлайн, т.е. в каком порядке?

(II) I810(0): Supported additional Video Mode:
(II) I810(0): clock: 157.5 MHz Image Size: 315 x 236 mm
(II) I810(0): h_active: 1280 h_sync: 1344 h_sync_end 1504 h_blank_end 1728 h_border: 0
(II) I810(0): v_active: 1024 v_sync: 1025 v_sync_end 1028 v_blanking: 1072 v_border: 0
(II) I810(0): Ranges: V min: 55 V max: 160 Hz, H min: 31 H max: 96 kHz, PixClock max 210 MHz
...

modeline "1280x1024" 157.5 1280 1344 1504 1728 1024 1025 1028 1072 +-hsync +-vsync
+- подбери экспериментально.

А ты у gtf'а исправлял "1024x768_85" на "1024x768"?