История изменений
Исправление Obezyan, (текущая версия) :
Покажете альтернативы?
Альтернативы вычислениям с 4-битной точностью? Это просто не имеет смысла. Для обучения/дообучения нужно fp16, для нормального прототипирования - fp8. fp4 это просто запустить модель с урезанной точностью в оперативной памяти.
Ширину шины данных не указали, производительность fp8/fp16 не указали, объем видеопамяти не указали (т.к. его походу нет), только унифицированную DDR5 (не GDDR6/HBM), вместо проца воткнули ARM (ничего против не имею, но ARM не про расчеты). Эта коробка сугубо чтобы запускать большие и неточные (fp4) модели «наслаждаясь» скоростью примерно в 8-10 токенов в секунду.
Исходная версия Obezyan, :
Покажете альтернативы?
Альтернативы вычислениям с 4-битной точностью? Это просто не имеет смысла. Для обучения/дообучения нужно fp16, для нормального прототипирования - fp8. fp4 это просто запустить модель с урезанной точностью в оперативной памяти.
Ширину шины данных не указали, производительность fp8/fp16 не указали, объем видеопамяти не указали (т.к. его походу нет), только унифицированную DDR5 (не GDDR6/HBM), вместо проца воткнули ARM (ничего против не имею, но ARM не про расчеты). Эта коробка сугубо чтобы запускать большие и неточные (fp4) модели «наслаждаясь» скоростью примерно в 8-10 токенов в секунду.