История изменений
Исправление red75prim, (текущая версия) :
Проблема текущих LLM в том, что у них нет контекста кроме того, что подали на вход и «воспоминаний» в виде весов. Грубо говоря, они как человек без кратковременной памяти: не могут запомнить о чем говорят
«Кратковременная память» у них есть: KV cache и residual stream (иначе бы они жутко тормозили на длинных контекстах (впрочем, как оно и было до введения KV cache)).
Отсутствие процедурной и эпизодической памяти - да, проблема. Но уже появляются работающие системы, которые частично решают эти проблемы: использование RAG (что-то вроде read-only эпизодической памяти), самообучение с подкреплением по результатам генерации дерева решений (что-то вроде процедурной памяти).
Исходная версия red75prim, :
Проблема текущих LLM в том, что у них нет контекста кроме того, что подали на вход и «воспоминаний» в виде весов. Грубо говоря, они как человек без кратковременной памяти: не могут запомнить о чем говорят
«Кратковременная память» у них есть: KV cache и residual stream.
Отсутствие процедурной и эпизодической памяти - да, проблема. Но уже появляются работающие системы, которые частично решают эти проблемы: использование RAG (что-то вроде read-only эпизодической памяти), самообучение с подкреплением по результатам генерации дерева решений (что-то вроде процедурной памяти).