Кратко:
Есть Gemma-3-12b-it, заряженная на машину с 32 ГБ DDR4 и GTX 1060 на 6 гигов. Разгрузка на видеокарту неполная(17/48 слоёв), даже хуже, чем у Qwen 2.5B-14b-Instruct. Иксы съедают около 100 мегабайт видеопамяти, что равно ещё одному слою для разгрузки на ГПУ.
Было бы вообще круто взять вторую видеокарту и оставить её выводить картинку, а 1060 полностью выделить под LLM. Я так и собираюсь сделать, чтобы картинка выходила с карты от AMD(что-то вроде RX550, может чуть слабее), но ни одной идеальной карты на Б/У рынке, по хорошей цене, и с поддержкой UEFI я не нашёл.
Помню, как на винде ОЗУ сама выделялась на случай нехватки видеопамяти. Я пытался найти что-то такое про линукс, но либо как-то не так искал, либо чудес не бывает.
Я точно не могу никак выгрузить иксы в оперативку, чтобы освободить VRAM?
