История изменений
Исправление alexmaru, (текущая версия) :
но это всё ещё будет жрать где-то 200-300 (там очевидно не всё под 100% будет нагружено, 100 ватт там ещё на перефирию точно выделено).
в другом треде предположили, что так можно использовать средние модели но с выкрученным повыше контекстным окном.
Можно будет поставить как локальный AI помошник для тех, кто боится утечек кода или данных на сторону (знаю таких).
да и условный m5 или m7 ultra уже точно смогут гонять это всё значительно быстрее.
Исходная версия alexmaru, :
но это всё ещё будет жрать где-то 200-300 (там очевидно не всё под 100% будет нагружено, 100 ватт там ещё на перефирию точно выделено).
в другом треде предположили, что так можно использовать средние модели но с выкрученным повыше контекстным окном.
Можно будет поставить как локальный AI помошник для тех, кто боится утечек кода или данных на сторону (знаю таких).