Исправление CrX, (текущая версия) :
Gamescope позволяет это сделать. Годится если надо конкретное приложение (игру в первую очередь — для них создавалось) так запустить. Будет в окошке нужного тебе размера, даже если в самом приложении фуллскрин.
Если надо прям WM внутри такого окошка, то Xephyr
Исходная версия CrX, :
Gamescope позволяет это сделать.