Почему из всех реализаций X11 выжил только X.Org?

Я не понимаю, почему 20 (!) лет назад в Windows XP не было такого говна.

Потому что у венды гуй был намного более низкоуровневый в дизайне. Там не было необходимости поддерживать сетевую прозрачность, потому что что PC изначально однопользовательские, персональные. Подход «вот тебе буфер видеопамяти, рисуй туда» был.

В чём проблема сделать такое в линуксах, в какой-нибудь убунте?

Так оно как бы и существовало более или менее в тот период. Framebuffer, DirectFB (фреймбуффер с аппаратным ускорением). Даже тулкиты его поддерживали. Gtk2, Gtk3 на начальных версиях.

Умерло из-за изменения приоритетов. Раньше содержимое окон чаще было неподвижным. А сейчас все хотят другого. Тут мне живые обои, там окно с видео, здесь скролить ленту в браузере. И чтобы 60+ fps. Древние системы, основанные на подходе «всю работу по отрисовке и композитинку тащит процессор» не справлялись с таким. Собственно старая система, была родом из 80-х и пыталась выжать хоть что-то из древних процов. Там буквально патчилась видеопамять. Типа это окно частично перекрыто двумя другими, по этому мы рассчитаем видимые регионы и будем перерисовывать только их.

Тогда же появился первый тиринг. Проц не вытягивал копирование памяти при перетаскивании окон. Проблему решили аппаратно. Видеокарты научились простенькому 2D-ускорению. Типа «скопируй вот эту прямоугольную область вот сюда».

Но это не помогало при воспроизведении видео, которое ещё через несколько лет добралось до компов. Тут проблему решили костылями второго порядка. Типа, давайте передавать видеопоток прямо в в видеокарту, пусть она рисует. А поскольку у нас оконная система, сделаем хромокей. В окне будет «зелёный экран», а видеокарта пусть в нужной области точки заданного цвета на точки из видеопотока заменяет.

И вот так вот эта подборка костылей всё росла, росла и росла...