Как отключить загрузку X-сервера?

Зависит от дистрибутива
Или runlevel сменить в /etc/inittab (5 -> 3 например)
или update-rc.d -f xdm remove (B debian)

Короче, смотри как он (Х-сервер) запускается у тебя

В FAQ!!!

У меня стоит debian stable, если 2-3 раза нажать Ctrl+Alt+Backspace то иксы и xdm отключаются.

В /etc/inittab ответ на твой вопрос так то, выбираешь уровень по умолчанию и усе, или просто команду init 3