LINUX.ORG.RU

История изменений

Исправление One, (текущая версия) :

Видел тесты, что на Q5_K_L у неё совершенно нет разницы с Q8

Во, нашёл

https://www.reddit.com/r/LocalLLaMA/comments/1iefhfj/mistral_small_3_24b_gguf_quantization_evaluation/

Не с Q8, блин, а с Q6

Там же в ветке есть:

Q3_K_M 67.32 Q4_K_L 67.8 Q4_K_M 67.56 IQ4_XS 69.51 Q5_K_L 69.76 Q6_K_L 70.73 Q8_0 71.22 F16 72.20

Исправление One, :

Видел тесты, что на Q5_K_L у неё совершенно нет разницы с Q8

Во, нашёл

https://www.reddit.com/r/LocalLLaMA/comments/1iefhfj/mistral_small_3_24b_gguf_quantization_evaluation/

Не с Q8, блин, а с Q6

Исправление One, :

Видел тесты, что на Q5_K_L у неё совершенно нет разницы с Q8

Во, нашёл

https://www.reddit.com/r/LocalLLaMA/comments/1iefhfj/mistral_small_3_24b_gguf_quantization_evaluation/

Исправление One, :

Видел тесты, что на Q5_K_M у неё совершенно нет разницы с Q8

Во, нашёл

https://www.reddit.com/r/LocalLLaMA/comments/1iefhfj/mistral_small_3_24b_gguf_quantization_evaluation/

Исходная версия One, :

Видел тесты, что на Q5_K_M у неё совершенно нет разницы с Q8