История изменений
Исправление red75prim, (текущая версия) :
Это как-то означает, что разработчики не в состоянии проанализировать и разложить по полочкам этот сюрприз?
Теоретически могут. А практически, анализ нелинейной системы со 175 миллиардами параметров представляет собой очень сложную задачу. Interpretability in machine learning - это развивающаяся область науки, с пока весьма ограниченными результатами.
Цитата от очередных трактористов из «Interpretability in the wild: a circuit for indirect object identification in GPT-2 small»: «Transformer-based language models (Vaswani et al., 2017; Brown et al., 2020) have demonstrated an impressive suite of capabilities but largely remain black boxes. Understanding these models is difficult because they employ complex non-linear interactions in densely-connected layers and operate in a high-dimensional space».
Система лишь вычисляет причинно-следственные связи между элементами информации.
Хех. Вычислить причинно-следственные связи без возможности производить эксперименты - это вообще-то очень непросто. На эту тему есть целый раздел науки с Judea Pearl во главе. Он разработал способы вычисления причинно-следственных связей для применения в системах искусственного интеллекта.
В GPT эти способы не были использованы. GPT-3 «просто» выполняет стохастический градиентный спуск в пространстве со ста семьюдесятью пятью миллиардами измерений минимизируя ошибку предсказания следующего токена.
И то, что она их вычисляет - не является неконтролируемым чудом.
Откуда чудеса-то взялись? Да, вычисляет. Никто не ожидал, что сможет вычислить. Ну, а то, что вам термины не нравятся, это - ваши личные заморочки. «Если оно крякает…» и так далее.
Исправление red75prim, :
Это как-то означает, что разработчики не в состоянии проанализировать и разложить по полочкам этот сюрприз?
Теоретически могут. А практически, анализ нелинейной системы со 175 миллиардами параметров представляет собой очень сложную задачу. Interpretability in machine learning - это развивающаяся область науки, с пока весьма ограниченными результатами.
Цитата от очередных трактористов из «Interpretability in the wild: a circuit for indirect object identification in GPT-2 small»: «Transformer-based language models (Vaswani et al., 2017; Brown et al., 2020) have demonstrated an impressive suite of capabilities but largely remain black boxes. Understanding these models is difficult because they employ complex non-linear interactions in densely-connected layers and operate in a high-dimensional space».
Система лишь вычисляет причинно-следственные связи между элементами информации.
Хех. Вычислить причинно-следственные связи без возможности производить эксперименты - это вообще-то очень непросто. На эту тему есть целый раздел науки с Judea Pearl во главе. Он разработал способы вычисления причинно-следственных связей для применения в системах искусственного интеллекта.
В GPT эти способы не были использованы. GPT-3 «просто» выполняет стохастический градиентный спуск в пространстве со ста семьюдесятью пятью миллиардами измерений минимизируя ошибку предсказания следующего токена.
И то, что она их вычисляет - не является неконтролируемым чудом.
Откуда чудеса-то взялись? Да, вычисляет. Никто не ожидал, что сможет вычислить. Ну, а то, что вам термины не нравятся, это - ваши личные заморочки.
Исходная версия red75prim, :
Это как-то означает, что разработчики не в состоянии проанализировать и разложить по полочкам этот сюрприз?
Теоретически могут. А практически, анализ нелинейной системы со 175 миллиардами параметров представляет собой очень сложную задачу. Interpretability in machine learning - это развивающаяся область науки, с пока весьма ограниченными результатами.
Цитата от очередных трактористов из «Interpretability in the wild: a circuit for indirect object identification in GPT-2 small»: «Transformer-based language models (Vaswani et al., 2017; Brown et al., 2020) have demonstrated an impressive suite of capabilities but largely remain black boxes. Understanding these models is difficult because they employ complex non-linear interactions in densely-connected layers and operate in a high-dimensional space».
Система лишь вычисляет причинно-следственные связи между элементами информации.
Хех. Вычислить причинно-следственные связи без возможности производить эксперименты - это вообще-то очень непросто. На эту тему есть целый раздел науки с Judea Pearl во главе. Он разработал способы вычисления причинно-следственных связей для применения в системах искусственного интеллекта.
В GPT эти способы не были использованы. GPT-3 «просто» выполняет стохастический градиентный спуск в пространстве со ста семьюдесятью пятью миллиардами измерений.
И то, что она их вычисляет - не является неконтролируемым чудом.
Откуда чудеса-то взялись? Да, вычисляет. Никто не ожидал, что сможет вычислить. Ну, а то, что вам термины не нравятся, это - ваши личные заморочки.