Нет, такой библиотеки не существует. Обычно зависимости отдельные от xcb/xlib или wlroots/wayland.
Если тебе нужно написать WM, который будет работать и в X.Org и в Wayland, делай так, как существующие проекты и тулкиты, в которых обеспечена поддержка как X.Org, так и Wayland.
если тебя интересует клиентская сторона, то как тебе уже сказали, любой тулкит с поддержкой обоих протоколов сойдёт за такой слой. если же, как ты сказал, ты хочешь писать WM, то тут вариантов нет. пиши композитор для wayland и добавляй в него поддержку x11 с помощью Xwayland. протоколы слишком разные чтобы можно было создать абстракцию над ними обоими и при этом это имело достаточную производительность с обоими протоколами.