История изменений
Исправление firkax, (текущая версия) :
LLaMA 3.1 на 405B требует ≈512(!) GB(!!) VRAM(!!!).
Я не очень в теме всех этих гпт, но вот чего не понимаю: почему гпт, опубликованные только в виде апи к их серверу, вообще сравниваются с гпт для личного пользования в плане системных требований? Очевидно же, что у огромной фирмы есть средства хоть многие терабайты (десятки, сотни?) VRAM организовать, и что в частном порядке никто, кроме олигархов, себе такую систему не соберёт (а они этим заниматься всё равно лично не станут).
Исходная версия firkax, :
LLaMA 3.1 на 405B требует ≈512(!) GB(!!) VRAM(!!!).
Я не очень в теме всех этих гпт, но вот чего не понимаю: почему гпт, опубликованные только в виде апи к их серверу, вообще сравниваются с гпт для личного пользования в плане системных требований? Очевидно же, что у огромной фирмы есть средства хоть терабайты VRAM организовать, и что в частном порядке никто, кроме олигархов, себе такую систему не соберёт (а они этим заниматься всё равно лично не станут).