Установить драйвер для GTX1070 для использования CUDA, но не использовать ее для вывода изображения

так и делаю. основное видео intel hd, а на нвидии гоняю нейронки под кудой

Есть какие-то особенности при установке/конфигурировании драйвера для карточки?

Нет. Я просто не подключал её к монитору, а иксы настраивал только под intel. Можно ведь вообще без графики обойтись, управлять системой через ssh.

Можешь поделиться примером настройки X'ов? Ибо уж очень далёк от всего этого

https://wiki.gentoo.org/wiki/Xorg/Guide/ru