О человеческом идиотизме и искусственном интеллекте

В этом главное различие: упаковка нейронов и сложность нейромедиаторного взаимодействия для активация нейронов. Именно поэтому мы наблюдаем такое различие в энергоэффективности

Но нейроны в кремнии не физические, а программные насколько я знаю. Т.е. ну а почему бы и не запрограммировать сетку более сложной структуры (мы просто пока ещё не знаем какая оптимальнее всего) с большим числом связей и более сложными сигналами. Это логично что потребует на порядок больше вычислительных ресурсов и современные кремнивые процессоры к этому не готовы... Ну так специализированные нейроускорители проектируются всего лет 10 как. Там определённо есть куда оптимизироваться.

Совсем без гарантий, что биологический нейрон так и останется более эффективным, в конце концов у него тоже чёртова туча «детских» ограничений вроде низкой скорости, невозможности бесконечно наращивать связи и зависимости от концентраций веществ в растворе. Да и сам размер нейрона кажется очень большой по сравнению с транзистором современного техпроцесса.

В нашем мозгу постоянно появляются новые нейроны, новые связи, старые нейроны и их связи отмирают и тд. Меняется структура. В искусственных сетях структура жесткая и не меняется, они как бы застыли в одном миге своего существования.

Это всё программируется. Не на текущих нпу, так на цпу/гпу - точно можно.

Примерно 7-10 млрд нейронов вполне достаточно чтобы общаться, писать код, рисовать и сочинять мелодии. Будет ли это являться мышлением? НЕТ.

Да, но скольки то - будет достаточно. С учётом всего описанного выше, т.е. более совершенной структуры на основе более совершенного нейрона. А физически в кремнии это наверняка будет значить десяток-другой новых техпроцессов и архитектур. Или может быть кто то очень богатый уже сейчас пытается на современном железе съэмулировать человеческий мозг.

В конце концов можно вспомнить шимпанзе и человека, мозг второго лишь чуть больше и чуть сложнее, но в какой то момент был пробит некий предел, который изменил всё.

До тех пор - это просто числовое сито с вентилями и никакое увеличение количество нейронов и слоев не сделает из сита - сильный ИИ (с мышлением).

И кстати тут я тоже не согласен. Уровень мышления может быть разным. Достаточно хорошая и гибкая симуляция разумного поведения на узких задачах может быть достаточной. Ну вот как с тем же машинным общением. Хз насколько многого можно достичь если группа сетей начнёт общаятся, выдавая как бы осмысленные мысли на командные входы других сеток. Или если начать нейронкам ставить задачу «спроектируй и обучи мне нейронку».

Не пора ли в таком случае убедить или заставить каждого человека повиноваться сверхразуму, приставить к нему «ангела» в виде личного помощника, этакий протез мозга, который будет вести его по жизни?

Вы изобрели тоталитарное государство.

Какие последствия будут для человечества в целом в результате такой революции, что произойдет с обществом, сознанием, ценностями?

Уже много раз проходили.

В каких научных или художественных книгах почитать про подобный сценарий развития жизни на планете?

В учебнике истории.

Да, я об этом же пишу, пока новые вентили изобретают и слои наращивают - это эволюция, революция и появление сильного ИИ будет только когда получится менять структуру в процессе выполнения (и как следствие, процессы обучения и выполнения сольются).

Как раз эту «революцию» можно заменить экстенсивным ростом числа нервных узлов и неких сортировщиков-переключателей между ними. Чтобы одни узлы могли оценивать работу других и подключать/отключать их или коректировать параметры работы или вообще обучать новые узлы при необходимости.

Но нейроны в кремнии не физические, а программные насколько я знаю. Т.е. ну а почему бы и не запрограммировать сетку более сложной структуры (мы просто пока ещё не знаем какая оптимальнее всего) с большим числом связей и более сложными сигналами. Это логично что потребует на порядок больше вычислительных ресурсов и современные кремнивые процессоры к этому не готовы… Ну так специализированные нейроускорители проектируются всего лет 10 как. Там определённо есть куда оптимизироваться.

Проблема в самом механизме обучения - методе обратного распространения ошибки (и прочих вариантах градиентного спуска). Градиентному спуску нужны слои, он не работает с пространственными структурами, во всяком случае его пока не смогли адаптировать. Поэтому базовая структура нейронных сетей не менялась примерно с конца 60х, начала 70х годов.

Совсем без гарантий, что биологический нейрон так и останется более эффективным, в конце концов у него тоже чёртова туча «детских» ограничений вроде низкой скорости, невозможности бесконечно наращивать связи и зависимости от концентраций веществ в растворе. Да и сам размер нейрона кажется очень большой по сравнению с транзистором современного техпроцесса.

Человеческий нейрон учитывает в десятки, если не сотни раз больше факторов активации/деактивации (имеет множество весов). Разные веса/пороги активации срабатывают для разных задач.

Программный нейрон учитывает один единственный пороговый фактор активации заданных какой-либо функцией (имеет один вес). Поэтому биологический нейрон может себе позволить быть медленнее, быть большим размером и тд ведь для выполнения одной и той же задачи, например CV (computer vision) уворачивания от тапка на лету мозга мухи с всего ~1 млн нейронов вполне достаточно. А ведь этот 1 млн нейронов не только распознает изображение, но и выполняет все задачи жизнеобеспечения мухи.

Т.е. сложность (вариативность) порогов активации позволяет одним и тем же биологическим нейронам участвовать в решении разных задач в разной комбинации, тогда как нейроны нейронной сети имея один активационный вес могут решать только одну задачу. Грубо говоря когда ты молоток, все вокруг выглядит как гвоздь и какого размера молоток не сделай, припаять провод ты им не сможешь.

В конце концов можно вспомнить шимпанзе и человека, мозг второго лишь чуть больше и чуть сложнее, но в какой то момент был пробит некий предел, который изменил всё.

В конце концов можно вспомнить шимпанзе и человека, мозг второго лишь чуть больше и чуть сложнее, но в какой то момент был пробит некий предел, который изменил всё.

Это вопрос лишь размеров различных структур мозга, если он достаточен то обезьяна может разговаривать с человеком на языке Йеркиш и выражать свои мысли и эмоции. Это лишь случайная флуктуация эволюции что мы развили необходимые отделы раньше и заперли их в клетки в зоопарки, а не наоборот.

Резюмируя, главный структурный недостаток современных ИНС - невозможность использовать одну и ту же структуру слоев для выполнения разных задач, невозможность иметь разные веса для нейронов. Из-за этого невозможно добавить изменения слоев во время выполнения (создание новых связей и отключение текущих связей). Я подозреваю что как только начнут реализовывать структуры со множественными весами нейронов - сразу начнет падать производительность, причем существенно.

Как раз эту «революцию» можно заменить экстенсивным ростом числа нервных узлов и неких сортировщиков-переключателей между ними. Чтобы одни узлы могли оценивать работу других и подключать/отключать их или коректировать параметры работы или вообще обучать новые узлы при необходимости.

Уже выяснили что нельзя. После определенного количества нейронов сеть начинает деградировать в обучении конкретной задачи тк не может «размазать» локальный минимум по большому количеству нейронов. Мало нейронов - плохо, много нейронов - тоже плохо.

Сейчас набирает популярность другой подход - ансамбли сетей, когда каждая сеть делает часть задачи или свою задачу, и результат передается в итоговую сеть сумматор. Сети в ансамбле работают как последовательно так и параллельно на разных этапах. Это попытка реализовать пространственные отделы оставаясь стопками слоев.

Такой подход еще какое-то время будет давать выхлоп, но потом мы опять упремся и начнем расковыривать создание пространственных структур. Через сколько лет это произойдет я затрудняюсь сказать.

Градиентному спуску нужны слои, он не работает с пространственными структурами, во всяком случае его пока не смогли адаптировать.

А как это в бионейронках происходит? Ну т.е. не можешь придумать лучше - есть у кого подсмотреть.

Программный нейрон учитывает один единственный пороговый фактор активации заданных какой-либо функцией

А почему? Ведь очевидно решение - добавить в уравнение переменных и учитывать много факторов. Ну а если на текущем железе это всё таки вылезет затратнее - значит надо просто докинуть нейронов.

Т.е. сложность (вариативность) порогов активации позволяет одним и тем же биологическим нейронам участвовать в решении разных задач в разной комбинации

Не, скорее выполнять условные N инструкций за такт. Но нервный узел это всё ещё нервный узел и отвечает он +/- за одну и ту же функцию, перепрофелирование крайне долгое и частичное, а на обучение нужны годы если задача сложная. А простые задачи закодированны аппаратно и почти не коректируются.

Сейчас набирает популярность другой подход - ансамбли сетей, когда каждая сеть делает часть задачи или свою задачу, и результат передается в итоговую сеть сумматор.

Ну вот мы и получаем тот самый специализированный нервный центр, в каком то приближении.

Я подозреваю что как только начнут реализовывать структуры со множественными весами нейронов - сразу начнет падать производительность, причем существенно.

Буквально в этом году опубликовали KAN сети, где не совсем множественные веса нейронов, но функции активации у каждого нейрона разные.

А как это в бионейронках происходит? Ну т.е. не можешь придумать лучше - есть у кого подсмотреть.

Через изменений структуры, там где сигнал проходит часто происходит нарастание объема структурного блока и увеличивается количество соединений. Там где не используется - отмирает. Помимо этого используются зеркальныее нерйоны который потворяют эхо сигнала и тд (они же отвечают за эмпатию/сопереживание). Поэтому младенец так долго учиться говорить - нужные структуры долго наростают.

Но нервный узел это всё ещё нервный узел и отвечает он +/- за одну и ту же функцию

Нет, все зависит от текущего набора веществ-нейромедиаторов в щели (синаптическом пространстве) между нейронами. Один набор дает одну функцию активации, другой - другую. Часть нейронов вообще не реагируют на определенные комбинации, другие, наоборот, оч чувствительны именно к этой комбинации и тд. Т.е. все намного сложнее чем сейчас в ИНС.

Буквально в этом году опубликовали KAN сети, где не совсем множественные веса нейронов, но функции активации у каждого нейрона разные.

Да, но это все еще одна функция активации на нейрон, не писал о них чтобы не усложнять беседу.