Он не тормозит - нет, он некорректно работает.
Я на одном рабочем столе запускал казаков.
Если очень быстро переключаться со стола с казаками на пустой стол и назад
(эдакая работа пальцами) - экран будет обновляться и мышь будет работать.
Но по-моему это изврат какой-то :)