История изменений
Исправление Obezyan, (текущая версия) :
Меньше. Раза в два
Вы путаете новую 24B и старую 22B сети.
Старая 22B влезает в 48Gb VRAM и позволяет крутить ее на одной видеокарте локально.
Вот 24B, там написано вначале:
Mistral Small can be deployed locally and is exceptionally «knowledge-dense», fitting in a single RTX 4090 or a 32GB RAM MacBook once quantized.
Без квантизации модель занимает 60Gb о чем написано ниже в примере кода:
# note that running this model on GPU requires over 60 GB of GPU RAM
Я проверил, таки да.
Исходная версия Obezyan, :
Меньше. Раза в два
Вы путаете новую 24B и старую 22B сети.
Старая 22B влезает в 48Gb VRAM и позволяет крутить ее на одной видеокарте локально.