История изменений
Исправление red75prim, (текущая версия) :
[Есть вопросы] совершенно другого уровня, для решения которых требуется техника мышления и принятия решений, совершенно перпендикулярная тому, что заложено в основу работы всяких чатовГПТ
В основу GPT заложено «для того, чтобы предсказать следующее слово вероятно нужно обратить большее внимание на какие-то определенные слова» (см. «Attention is all you need»). На какие именно слова натренированная сеть обращает внимание, и как это влияет на её решение, никто толком не знает.
У меня есть подозрение, что никакой четкой границы между «2+2» и «задачами совершенно другого уровня» нет. С увеличением размера сети и объема обучающих данных сеть начнёт решать задачи, которые считались задачами «совсем другого уровня». Собственно так и происходит: можно поискать какие задачи, например, Гари Маркус считал нерешаемыми с помощью GPT-подобных систем 4 года назад, и какие он считает нерешаемыми сейчас.
Но, начиная с некоторого уровня задач, потребный размер сети и объем обучающих данных станут непрактичными.
Так что - да, теперь исследователи занимаются и поиском способов научить GPT-подобные сети создавать свои собственные «кубики», например, как это делала AlphaZero - попробовать несколько вариантов, посмотреть что получается, и модифицировать своё поведение по результатам.
Исходная версия red75prim, :
[Есть вопросы] совершенно другого уровня, для решения которых требуется техника мышления и принятия решений, совершенно перпендикулярная тому, что заложено в основу работы всяких чатовГПТ
В основу GPT заложено «для того, чтобы предсказать следующее слово вероятно нужно обратить большее внимание на какие-то определенные слова» (см. «Attention is all you need»). На какие именно слова натренированная сеть обращает внимание, и как это влияет на её решение, никто толком не знает.
У меня есть подозрение, что никакой четкой границы между «2+2» и «задачами совершенно другого уровня» нет. С увеличением размера сети и объема обучающих данных сеть начнёт решать задачи, которые считались задачами «совсем другого уровня». Собственно так и происходит: можно поискать какие задачи, например, Гари Маркус считал нерешаемыми с помощью GPT-подобных систем 4 года назад, и какие он считает нерешаемыми сейчас.
Но, начиная с некоторого уровня задач, потребный размер сети и объем обучающих данных станут непрактичными.
Так что - да, теперь исследователи занимаются и поиском способов научить GPT-подобные сети создавать свои собственные «кубики», например, как это делала AlphaZero - попробовать несколько вариантов, посмотреть что получается в результате, и модифицировать своё поведение по результатам.