Как ограничить vram

увеличь swap раздел

Никак не ограничешь, вообще в линуксах на nvidia сломан turbocache

Печально (

В конфиге иксов можно указывать размер видеопамяти. Можно попробовать поставить меньшее значение, чем у тебя есть.

Но я не берусь гарантировать, что
а) драйвер примет к сведению новый размер. У тебя же блоб, а не нуво? Хуанг может забить на этот параметр;
б) это вообще поможет.

Я так никогда не делал, за последствия не отвечаю.

Section "Device"
    Driver "nvidia"
    VideoRam 2097152
EndSection

Значение в килобайтах, т.е. в моём примере размер памяти указан 2 ГБ.

Кстати как вариант попробуй уменьшить разрешение экрана и заапскейлить с помощью fsr

Не это не помогло, он просто тупо проигнорировал изменения. И даже если он ограничил размер видео-памяти, nvenc бы не смог использовать свободную память, так как он бы тоже её не видел. Ну все равно спасибо за ответ.

Никак не ограничить. Чаще всего игры используют столько видеопамяти, сколько им нужно, независимо от того сколько памяти они видят в системе.