В какой-то момент стала тормозить графика на Debian (на официальном драйвере NVIDIA). Поставив Ubuntu, замечаю аналогичную ситуацию (попутно оглядел Unity и сделал вывод, что я остаюсь на Ubuntu). Выставил в опции ядра «irqpoll» и графика стала нормально работать, но с этой опцией иногда отваливается сеть.
Подозреваю, что сетевая карта и видеокарта заняли один IRQ.
В качестве временного решения проблемы с сетью применяю
sudo modprobe -r rt61pci && sudo modprobe rt61pci