Как собрать X.Org так, чтобы его можно было запустить в окне, а не на физическом экране? Окно желательно SDL, но можно и что-нибудь другое. В зависимостях, включая зависимости сборки, не должно быть libdrm, libpciaccess, mesa и т.п.. Поддержка OpenGL и аппаратного ускорения не обязательна.
Поиск в основном даёт вариант наоборот: сборку SDL под X11.