OBS vs Nouveau

отказывается нормально работать

В чём это выражается? Может лучше усилия направить на исправление этой проблемы?

Можно ли как-то заставить

Установить проприетарный драйвер nvidia.

Nouveau Можно ли как-то заставить OBS использовать аппаратное, а не программное кодирование видео?

никак, знаю что через ffmpeg можно через vaapi намутить если конечно твоя видеокарта поддерживается

Уже сил нет с ним бороться При активации проприетарного драйвера система начинает адски тормозить. Тормоза браузеров с дискретной видеокартой (комментарий) Сначала я думал, что проблема только в браузерах, но все гораздо хуже. Например элементарный ping идет-идет, а затем останавливается и прорывается через несколько секунд. Не знаю какое нужно применить шаманство и колдунство, чтобы этот адский блоб заработал!?

Тебе вьіше сказали. Юзай через vaapі