можно. разрешаю. пройдите в http://www.linux.org.ru/forum/desktop/

запускать от пользователя только с KMS/DRI2 и то скорее всего не поддерживается пока

Да не тот startx же!

Я, в том смысле что если скачать сырцы и собрать их из под пользователя то не придётся ли пилить пол_системы чтобы разрешить это собранное запустить.

Разрешаю. Используй SUDO перед компиляцией, чтобы установить суидный бит.

нет не придется,
запускать или как написал iZEN - через установку suid бита
(chmod 4755 Xorg) или может использоваться враппер , как например в Debian, тогда suid бит уже установлен на враппере (X) , на Xorg его ставить не нужно.

а почему «SUDO» , а не «sudo»?
и почему «перед компиляцией» , а не «во время установки» (sudo make install) или «после установки» (make install DESTDIR=somewhere) ?

ага, пасиб :)