LINUX.ORG.RU

Используют(могут ли) иксы оперативку вместо VRAM?

 , , ,


0

1

Кратко: Есть Gemma-3-12b-it, заряженная на машину с 32 ГБ DDR4 и GTX 1060 на 6 гигов. Разгрузка на видеокарту неполная(17/48 слоёв), даже хуже, чем у Qwen 2.5B-14b-Instruct. Иксы съедают около 100 мегабайт видеопамяти, что равно ещё одному слою для разгрузки на ГПУ. Было бы вообще круто взять вторую видеокарту и оставить её выводить картинку, а 1060 полностью выделить под LLM. Я так и собираюсь сделать, чтобы картинка выходила с карты от AMD(что-то вроде RX550, может чуть слабее), но ни одной идеальной карты на Б/У рынке, по хорошей цене, и с поддержкой UEFI я не нашёл. Помню, как на винде ОЗУ сама выделялась на случай нехватки видеопамяти. Я пытался найти что-то такое про линукс, но либо как-то не так искал, либо чудес не бывает.

Я точно не могу никак выгрузить иксы в оперативку, чтобы освободить VRAM?

Ответ на: комментарий от Dimez
$: sudo parted /dev/sdc p
Модель: Kingston DataTraveler 2.0 (scsi)
Диск /dev/sdc: 1017MB
Размер сектора (логич./физич.): 512B/512B
Таблица разделов: gpt
Флаги диска:

Номер  Начало  Конец   Размер  Файловая система  Имя  Флаги
 1     1049kB  1016MB  1015MB  ext2

$: sudo grub-install /dev/sdc --target=i386-pc
Выполняется установка для платформы i386-pc.
grub-install: предупреждение: метка раздела GPT не имеет BIOS Boot Partition; встраивание невозможно.
grub-install: ошибка: встраивание невозможно, но оно необходимо для междисковой установки.

#####

$: sudo parted /dev/sdc p
Номер  Начало  Конец   Размер  Файловая система  Имя  Флаги
 2     17,4kB  1049kB  1031kB                         bios_grub, legacy_boot
 1     1049kB  1016MB  1015MB  ext2

$: sudo grub-install /dev/sdc --target=i386-pc
Выполняется установка для платформы i386-pc.
Установка завершена. Ошибок нет.
ALiEN175
()
Ответ на: комментарий от ALiEN175

А EFI-загрузка c MBR не работает.

Ты с дуба рухнул? Всегда работала и сейчас работает (под Linux, естественно). И наоборот, CSM-загрузка с gpt тоже работает под Linux. В винде да, чёткое разделение. На UEFI диск, куда ставишь винду, можно иметь только в GPT, на Legacy/CSM только MBR (и на флешки не распространяется)

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 3)
Ответ на: комментарий от ALiEN175

просто добавь флаг force, и оно отработает по старому методу, сохраняя список блоков core.img в MBR. (это grub2, grub1 конечно тоже так умеет, если пропатчен на поддержку GPT)

grub-install --target=i386-pc /dev/sda --force -v
grub-install: warning: this GPT partition label contains no BIOS Boot Partition; embedding won't be possible.
grub-install: warning: Embedding is not possible.  GRUB can only be installed in this setup by using blocklists.  However, blocklists are UNRELIABLE and their use is discouraged..
grub-install: info: will leave the core image on the filesystem.
grub-install: info: opening the core image `/boot/grub/i386-pc/core.img'.
grub-install: info: saving <111914,0,4096>.
grub-install: info: saving <129952,0,8192>.
grub-install: info: saving <129970,0,15360>.
grub-install: info: opening the core image `/boot/grub/i386-pc/core.img'.
Installation finished. No error reported.
MirandaUser2
()
Ответ на: комментарий от MirandaUser2

О, интересно, о такой особенности не знал, спасибо!

However, blocklists are UNRELIABLE and their use is discouraged

Но лучше так не делать, видимо.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от Dimez

UEFI загрузка возможна только с GPT-диска. Если материнка видит efi-записи на диске с MBR - значит включен CSM. Проверить в каком режиме загружена система:

[ -d /sys/firmware/efi ] && echo EFI || echo BIOS

GPT-разметка с разделом bios_grub позволяет загружаться с него не только в СSM, а даже на материнках, ничего не знающих о EFI и GPT. Без разницы, диск или флешка.

ALiEN175
()
Ответ на: комментарий от ALiEN175

UEFI загрузка возможна только с GPT-диска. Если материнка видит efi-записи на диске с MBR - значит включен CSM.

Чушь. Разумеется нет.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от Dimez

Ну значит, ваш UEFI так позволяет. Но это уже скорее исключение, чем правило.

It is recommended to always use GPT for UEFI boot, as some UEFI implementations do not support booting to the MBR while in UEFI mode. https://wiki.archlinux.org/title/Partitioning

Недавно переносил системы со старого железа на пяток относительно свежих компов с UEFI - без включенного CSM ни один не увидел загрузочного устройства с MBR - включая и диски, и флешки.

ALiEN175
()
Ответ на: комментарий от ALiEN175

Ну значит, ваш UEFI так позволяет. Но это уже скорее исключение, чем правило.

Это любой UEFI такое позволяет.

Недавно переносил системы со старого железа на пяток относительно свежих компов с UEFI - без включенного CSM ни один не увидел загрузочного устройства с MBR - включая и диски, и флешки.

Ты опять путаешь Legacy загрузку и mbr-разметку диска.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от Dimez

нет, не путаю. Хотел оставить UEFI без CSM, откусил кусочек места под efi-раздел, флаги поставил, загрузчик скопировал, всё по феншую. Нет, не видит записи. Как только сконвертировал MBR в GPT - всё сразу зашуршало и ранее скопированные загрузчики тут же нашлись.

ALiEN175
()
Ответ на: комментарий от Dimez

Ну какие сервера) Обычные офисники. Конкретные модели я и не упомню. Материнки точно бюджетные. Все - десктопы. ASrock и Gigabyte точно были.

Разовая шабашка была - перенести данные на новые компы.

ALiEN175
()
Ответ на: комментарий от ALiEN175

Разве это не стандартный способ загрузки grub legacy c gpt таблицы разделов?

https://en.wikipedia.org/wiki/GNU_GRUB#Version_0_(GRUB_Legacy)

In case this space is not available (unusual partition table, special disk drivers, GPT or LVM disk) the install of stage 1.5 will fail. The stage 1.5 image contains file system drivers, enabling it to directly load stage 2 from any known location in the filesystem, for example from /boot/grub. Stage 2 will then load the default configuration file and any other modules needed. 

У меня почти всё железо по этой схеме грузится через grub legacy.

MirandaUser2
()
Последнее исправление: MirandaUser2 (всего исправлений: 1)
Ответ на: комментарий от ALiEN175

Нету. У меня почти всё железо загружается без UEFI.

Вообще gpt патч для grub legacy появился ещё в 2006 г. (https://www.mail-archive.com/bug-grub@gnu.org/msg10632.html).

Возможно в твоем дистрибутиве этот патч не накладывали.

И загрузку grub2 по этой методике (Используют(могут ли) иксы оперативку вместо VRAM? (комментарий)) я проверял только в VM. Возможно на железе есть какие-то проблемы. Хотя это было бы странно, если бы grub2 работал хуже grub legacy.

MirandaUser2
()
Ответ на: комментарий от anonymous

Для использования дискового кеша нужно запустить приложение. Иногда проще использовать tmpfs, чтобы приложение ускорилось к первому запуску и не выгружалось из памяти

vbcnthfkmnth123 ★★★★★
()

Помню, как на винде ОЗУ сама выделялась на случай нехватки видеопамяти.

Да, венда так умеет, точнее драйвер невидии для венды, а для онтопика они так это и не сделали. Вот на форуме невидии это обсуждают:

https://forums.developer.nvidia.com/t/non-existent-shared-vram-on-nvidia-linu...

Кстати, есть несколько интересных советов. Почитай.

Например вот

Option «AllowSHMPixmaps» «boolean» …

Default: off (shared memory pixmaps are not allowed).

Loki13 ★★★★★
()
Последнее исправление: Loki13 (всего исправлений: 1)
Ответ на: комментарий от ALiEN175

Ну тогда зачем вам GPT? Мыши и кактус?

В принципе всё можно держать и на msdos разметке c логическими разделами.
Но я очень давно перешел на gpt.
Насколько я помню, причины были в дополнительной сложности управления: например при конвертации primary разделов в логические и обратно; и ограничениях по загрузке ОС с логических разделов (вроде у FreeBSD).

В случае же GPT разметки - там только у MS Windows ограничения в виде привязки к загрузке в EFI режиме.

MirandaUser2
()