Проще оказалось проверить самому. Да, по X-серверу на пользователя.
Я так понимаю, он сам работает в иксах.
Что происходит при логине/переключении пользователя? Стартует другой X-сервер, которому отдаётся контроль над VT? Каждому пользователю запускается по X-серверу?