История изменений
Исправление mord0d, (текущая версия) :
А почему обучение моделей не постоянно?
Потому что чтобы добавить один(!) токен, нужно пересобирать модель. А значит каждый "вопрос" оно бы обрабатывало не секунду, а минут сорок, и при этом жрало не 30G RAM, а 240G.
При этом на обучение сразу на пачке токенов нужно столько же времени и оперативки.
Исходная версия mord0d, :
А почему обучение моделей не постоянно?
Потому что чтобы добавить один(!) токен, нужно пересобирать модель. А значит каждый "вопрос" оно бы обрабатывало не секунду, а минут сорок, и при этом жрало не 30G RAM, а 240G.