Artificial general Intelligence или почему LLM не стать AGI.

Этот текст написан какой-либо гопотой?

и вообще является тупиковой ветвью ИИ?

Отвечает твой юзерпик: «и так сойдёт» :)

Не всё ли равно? Нормальные люди в пятницу в лесополосе пьяные валяются

Этот текст написан какой-либо гопотой?

Это уже третья тема подряд про ИИ от ОП, и все они про то, что нам не нужно волноваться. Хорошая попытка, GPT-5!

номинально проходит тест Тьюринга

Ага, он номинально проходит тест Тьюринга, номинально может отвечать на вопросы, скоро номинально сможет сам делать какую-то простую работу, а потом номинально и более сложную. Но нам не о чем беспокоится, ведь только у нас в головах теплый лампо слизистый интеллект)

Да там уже Микрософт сворачивает лавочку, расслабьтесь :)

Artificial general AI или почему LLM не стать AGI.

Потому что AGI напишет Кармак, на... угадай на чем. (Он все на этом пишет). Ну, кто если не он? Вот то-то. Вот только книжки по теме дочитает.

современный обученный GPT, это некая форма полноценного ИИ, ведь он номинально проходит тест Тьюринга.

А современный необученный младенец – проходит, не зная языка?

Без языка это невозможно и установить. Язык это лишь интерфейс взаимодействия, но сама мысль формируется вне языка, она приобретает форму слов и предложений уже после.

Сколько можно

Правильно ли я думаю, что это является ключевым в разграничении подлинного ИИ(абстрактное мышление вне языка и текста) и имитации на базе LLM?

Хз, пока никто не знает как должен быть сделан подлинный ии.

В чём дело? Я задаю вопрос касательно ИИ, хотя уже в третий раз, тем не менее вопрос совершенно другой.

Да, но можно сказать как НЕ должен.

Я задаю вопрос касательно ИИ

Именно. На форуме про Линукс.

хотя уже в третий раз

Именно. Хотя на самом деле четвёртый.

Я понимаю, что немного оффтопа в толксах — это ОК, но не 4 темы про ИИ же, причём примерно об одном и том же (в духе «я познаю мир»).

Гопотовые чатботы в телеге, например, видны сразу даже без напряга. Про какой тест речь не очень понятно. Кто проводил, где протокол испытаний? Скорее про то, что ллм проходят тест Тьюринга звезданули сами ллм.

Мысль существует в человеческом разуме совершенно обобленно и уже потом вербализируется / визуализируется

Не поверишь, но вся абстрактная фигня в голове существует исключительно в виде образов обрабатываемых нашими органами чувств. Человек не может представить себе как выглядит то, для чего у него нет органов чувств, только описать через существующие представления.

Это раз.

Два – у LLM есть такая вещь как внутреннее представление, в которое слова/звуки/картинки превращают, и которое потом обратно превращают в слова/звуки/картинки.

Проблема текущих LLM в том, что у них нет контекста кроме того, что подали на вход и «воспоминаний» в виде весов. Грубо говоря, они как человек без кратковременной памяти: не могут запомнить о чем говорят, на каждом слове смотрят на то что говорили до того и пытаются угадать о чем именно думали и каким словом продолжить.

является тупиковой ветвью ИИ

Является ли кирпич тупиковой ветвью строительства? Ведь из одного (1 шт) кирпича ничего нельзя построить.

ведь он номинально проходит тест Тьюринга.

Нет, не проходит. Есть широкий спектр задач, которые человек решает без проблем, а ChatGPT в упор решить не может.

Вообще тест тьюринга прошел ещё весьма тугой чатбот, который косил под школьника, и строил из себя дурака на сложных вопросах.

Проблема текущих LLM в том, что у них нет контекста кроме того, что подали на вход и «воспоминаний» в виде весов. Грубо говоря, они как человек без кратковременной памяти: не могут запомнить о чем говорят

«Кратковременная память» у них есть: KV cache и residual stream (иначе бы они жутко тормозили на длинных контекстах (впрочем, как оно и было до введения KV cache)).

Отсутствие процедурной и эпизодической памяти - да, проблема. Но уже появляются работающие системы, которые частично решают эти проблемы: использование RAG (что-то вроде read-only эпизодической памяти), самообучение с подкреплением по результатам генерации дерева решений (что-то вроде процедурной памяти).

KV Cache это всего лиш кеш для ускорения вычислений в LLM на базе transformer decoder, принцип и результат вычислений остаётся тем же.

Residual stream это вообще про поток данных от входа к выходу.

Проблема ж в том что при генерации выход дискретизируется в один или несколько (если используется beam search) токенов и это подается обратно на вход. Дискретизация стирает любые возможные «мысли» сети. Каждый слой на каждом шаге видит только текущие и прошлые представления нижележащих слоёв, но не свои прошлые, и уж тем более не прошлые представления вышележащих слоев.

Система решающая ту проблему есть, и не одна. От добавления всяких рекуррентных и квазирекуррентных сетей (SRU++, RWKV, Mamba) до самого крутого варианта (Feedback Transformer)

Но чем круче тем медленнее обучать – последовательные вычисления ж.

Feedback Transformer, особенно в паре с появившимся после него RoPE в сложных RL-задачах демонстрирует способность к долговременному планированию на дистанциях иногда на порядок превышающих видимый ему контекст.

Но учится исключительно пошагово, да.

Я вангую что следующий прорыв будет когда народ из Cerebras, у которых для такого пошагового обучения очень подходящая архитектура, обучит сеть на базе Feedback Transformer-подобной архитектуры хотяб на десяток миллиардов весов.

Вместе с RAG и пошаговыми рассуждениями такая модель будет просто выносить вперед ногами нереккурентные трансформеры.

Особенно учитывая что Feedback Transformer на инференсе кушает в N(количество слоёв) раз меньше памяти.

Это всё звучит красиво, но тем не менее, разве нейросеть не ограничена лишь тем, что она оперирует в рамках языка/текста? Мысль может быть необъятной для текста, невыразимой, но тем не менее оставаться мыслью в полноценном разуме человека, тогда как в мышлении нейросети это просто слов в наиболее подходящей последовательности.

Я пытаюсь донести тезис о том, что пока не сформирован абстрактный формат мышления, за которым уже следует вербализация, это всё имеет конечную форму развития и ни о каком прорыве или AGI речи даже быть не может.

gpt

Да используй уже MBR и не парь себе мозг (if any).

у них нету абстрактного мышления ВНЕ символов, букв

А самолеты крыльями как птицы не машут прикинь? Вот только люди не летают на генномодифицированных орлах как во Властелине колец, а пользуются самолетами на реактивных двигателях.

И я бы предпочёл chatgpt лектору в любом вузе мира. Потому что, он банально за день научит меня высшей математике преобразуя формулы в понятный для меня код на джаве. Когда в вузе на это уходил бы семестр. И я быт там нихрена не понял.