LINUX.ORG.RU

История изменений

Исправление Obezyan, (текущая версия) :

Меньше. Раза в два

Вы путаете новую 24B и старую 22B сети.

Старая 22B влезает в 48Gb VRAM и позволяет крутить ее на одной видеокарте локально.

Вот 24B, там написано вначале:

Mistral Small can be deployed locally and is exceptionally «knowledge-dense», fitting in a single RTX 4090 or a 32GB RAM MacBook once quantized.

Без квантизации модель занимает 60Gb о чем написано ниже в примере кода:

# note that running this model on GPU requires over 60 GB of GPU RAM

Я проверил, таки да.

Исходная версия Obezyan, :

Меньше. Раза в два

Вы путаете новую 24B и старую 22B сети.

Старая 22B влезает в 48Gb VRAM и позволяет крутить ее на одной видеокарте локально.