Как использовать несколько cuda версий на одном компьютере?

Подсовывать разные пути через LD_LIBRARY_PATH.

У nvidia есть готовые докер контейнеры с cuda, набором библиотек и jupiter notebook. Я им пользуюсь для экспериментов с нейросетями. Всё работает из коробки. Можешь держать несколько контейнеров с разными версиями.

tensorflow https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorflow

pytorch https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch

Вот здесь есть таблички с описанием какие конкретно версии cuda используются в том или ином контейнере, если тебя интересует эта инфа.

https://docs.nvidia.com/deeplearning/frameworks/pytorch-release-notes/rel-23-02.html#rel-23-02

https://docs.nvidia.com/deeplearning/frameworks/tensorflow-release-notes/rel-23-02.html#rel-23-02

Ещё полезная табличка

https://docs.nvidia.com/deeplearning/frameworks/support-matrix/index.html

смотри в сторону spack/easybuild и lmod

денек-другой поковыряешься, зато проблем потом с таким не будет вообще )