Как на xlib нарисовать такое окно?

Первое что пришло на ум это создать главное окно с красным фоном. А потом создать субокно и им уже пользоваться.

XDrawRectangle

Ъ-дельфи решение)

я бы юзал XDrawLine и XSetLineAttributes для регулировки толщины линий

На самом деле мой вариант хорош тем что рисованием и перерисовкой рамки будет заниматься X Server. И к тому же не нужно будет высчитывать координаты куда рисовать, где перерисовывать в случаи события Expose. И ещё не возможно будет случайно нарисовать поверх рамки, стереть ей.

рамка отрисована по периметру оформления оконного менеджера. Тебе нужно именно такое решение, или просто внутри окна?

по периметру

рисовать можно только внутри окна.

можно попросить диспечера окно не рисовать заголовок+рамочки, но тогда их придется рисовать самому (если они конечно нужен)

в win можно рисовать на «оформление окна» потому что это «оформление окна» рисует сама программа (через библиотечку и «стандартные» обработчики событий).

в X «оформление окна» рисует другой процесс, а сама программа не имеет доступ к рамке и заголовку (программа может попросить диспетчера окон изменить их).

как задать цвет для прямоугольника?

надо внутри рядом с рамкой оконного менеджера

через XCreateGC

для примера, я когда-то подобную штуку делал, только там вместо рутового окна подставить свое, и убрать обработку передвижения

http://1-ananas-1.livejournal.com/574662.html#cutid1