История изменений
Исправление ei-grad, (текущая версия) :
потребуется не менее 24 GB RAM
codellama-7b-instruct.Q4
starcoder2-3b-Q4
На 8гб RAM конечно будет тесновато, но один фиг какая-нибудь из моделек полностью на gpu уйдет, и в целом должно влезть. Куда 24гб то? Нейронка нагалюцинировала?
Исходная версия ei-grad, :
потребуется не менее 24 GB RAM codellama-7b-instruct.Q4 starcoder2-3b-Q4
На 8гб RAM конечно будет тесновато, но один фиг какая-нибудь из моделек полностью на gpu уйдет, и в целом должно влезть. Куда 24гб то? Нейронка нагалюцинировала?