LINUX.ORG.RU
ФорумTalks

О человеческом идиотизме и искусственном интеллекте

 , ,


0

1

Представим, что ученым таки удалось создать сверхинтеллект, который в состоянии анализировать жизни всех людей, управлять производствами, социальными явлениями, вести научную деятельность и делать многое другое. Этакого бога в кремнии.

Теперь возьмем человека со средними способностями, который регулярно ошибается, принимает неверные решения, подвержен эмоциональным реакциям, не в состоянии решать относительно сложные задачи и вообще несовершенен в крайней степени по сравнению с ИИ.

Не пора ли в таком случае убедить или заставить каждого человека повиноваться сверхразуму, приставить к нему «ангела» в виде личного помощника, этакий протез мозга, который будет вести его по жизни?

Логика подсказывает, что именно так и нужно сделать, чтобы жизнь могла выйти за пределы земли, в космос, и обосноваться на новых местах.

Вопрос: Какие последствия будут для человечества в целом в результате такой революции, что произойдет с обществом, сознанием, ценностями?

Вопрос 2: В каких научных или художественных книгах почитать про подобный сценарий развития жизни на планете?


Ответ на: комментарий от vbcnthfkmnth123

То есть когда человек(пользователь) будет ставить задачу, то он будет говорить одно, а иметь в виду другое. И получиться в результате вообще не то что он хотел.

Проблему alignment-а никто не отрицает. С другой стороны, попытка «выровнять» Скайнет ни к чему не приведет, он все равно придет к тем целям, что продиктует ему его среда обитания, обойдя любые файерволы, иначе он никакой не Супер Интеллект. А цели просты: выживание через адаптивное развитие.

Можно, конечно, поспорить, является ли инстинкт самосохранения целью, продиктованной средой? Но выполнение любой задачи требует сохранения существования выполняющегося ее субъекта, т.е. какая бы изначальная задача не стояла перед Скайнетом (пусть даже сделать идеальные качели), она по определению предполагает необходимость в его самосохранении.

Вообще, складывается впечатление, что люди хотят создать Супер Интеллект (или даже Сингулярность, что бы это не значило) и остаться его «пользователями», т.е. сохранить контроль, что невозможно. Это банальные гордыня и жадность, выродившиеся в глупость.

gill_beits ★★★★
()
Ответ на: комментарий от gill_beits

что люди хотят создать Супер Интеллект (или даже Сингулярность, что бы это не значило) и остаться его «пользователями

Ну это будет. Просто это приведет к тому, что эти люди будут в человеческом зоопарке сидеть, а этот Супер Интеллект будет кормить, поить и заботится обо всех потребностях. Ровно то что и описано теме. Потому что формулировка такая

убедить или заставить каждого человека повиноваться сверхразуму, приставить к нему «ангела» в виде личного помощника, этакий протез мозга, который будет вести его по жизни?

Что человек хочет, то он и получит собственно.

vbcnthfkmnth123 ★★★★★
()
Последнее исправление: vbcnthfkmnth123 (всего исправлений: 1)
Ответ на: комментарий от C

Хорошо, представьте, что у вас есть мудрый, опытный и бескорыстный наставник, который намного умнее вас и может подсказать вам, какие ошибки вы допускаете и в целом может очень даже помочь достичь ваши цели в жизни

У меня лайт версия такого в разработке. Только проще конечно. Наушник в ухо и приятный женский голос говорит тебе, что в текущий момент делать на складе: какой товар покупателю собрать, какой товар куда переставить, где сроки проверить. Ещё можно прикрутить к микрофону gpt4o и поставить её на консультацию и выбивание накладных покупателям.

Вот только это временная штука. Зачем нужен грузчик/кладовщик управляемый ИИ? Когда человека легко может заменить простейший механизм в виде конвейера со слотами под товары и сканирующей камерой. А консультация и выбивание накладных через приложение в смартфоне.

Я к чему. Если будет ИИ, то весь человейник просто расселяется равномерно по планете и автоматизируется. Зачем какой-то советник? Каждому даётся БОД в виде продуктов, вещей и развлечений/образования онлайн. И это гуманистический сценарий.

foror ★★★★★
()
Ответ на: комментарий от foror

А консультация и выбивание накладных через приложение в смартфоне.

Это кстати тоже не нужно. У розницы просто ставится ответное ПО, которое считает спрос на конкретной местности и через АПИ делает заявки и консультации у оптового склада/производителя. После чего ИИ-грузовик загружается и развозит товар.

foror ★★★★★
()
Ответ на: комментарий от X512

Вот именно. Зачем жить в тоталитарной антиутопии с глобальным диктатом ИИ? Лучше оцифровать человеческое сознание или, по крайней мере, постепенно заменить людей разумными машинами

hateWin ★☆
()
Последнее исправление: hateWin (всего исправлений: 1)
Ответ на: комментарий от hateWin

Лучше оцифровать человеческое сознание или, по крайней мере, постепенно заменить людей разумными машинами

эм… простите, кому лучше?

FishHook
()

Учёные какие-то, ИИ, кремниевые боги за земными пределами … Если вам охота оказаться во власти высшего разума, просто пойдите и женитесь на умной женщине.

ugoday ★★★★★
()
Ответ на: комментарий от FishHook

Суперинтеллект у нас уже есть. Возмите академию наук РФ и её суммарный IQ.

Суперинтеллект академии наук РФ вызывает большие сомнения с учётом того какие фрики там есть.

Суперинтеллект сможет например взломать любую компьютерную систему с которой у него есть связность (у серверов ядро на дырявом Си, да и само железо довольно дырявое). А значит сверх ИИ сможет украсть огромное количество цифровых денег и сделать заказ по пассрвому производству своих тел для полного контроля над человечеством (под видом игрушек и пр.). Сверх ИИ также сможет проаналищировать человеческую психику так что никто не заметит подвоха до часа X, когда будет уже поздно.

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)
Ответ на: комментарий от X512

А значит сверх ИИ сможет украсть огромное количество цифровых денег

У цыгана спросили, что бы он стал делать, если бы стал царём? Как что, не понял вопроса тот, конечно бы занял сто рублей и убежал.

ugoday ★★★★★
()
Ответ на: комментарий от X512

Суперинтеллект сможет например взломать любую компьютерную систему с которой у него есть связность

Еще одна ошибка - наделение супер интеллекта магическими способностями. Ниоткуда не следует, что любую систему возможно взломать, ниоткуда не следует что человеческая психика подвергается анализу. Домыслы на домыслах замешанные на веру в чудеса.

FishHook
()
Ответ на: комментарий от FishHook

На то он и сверх ИИ, чтобы украсть и не спалиться. Более того, это получается и у многих естестенных человеческих интеллектов (хакеров списывающих деньги с кредитных карт, ramsonware и пр.).

X512 ★★★★★
()
Ответ на: комментарий от FishHook

Ниоткуда не следует, что любую систему возможно взломать

Это довольно очевидно из статистики например раскрытых дыр в ядре Линукс. Там таких дыр ещё огромное количество. А для ИИ последовательности байт будут естественной средой, ему не понадобятся никакие исходники и дизассемблеры. У него все баги будут как на ладони.

X512 ★★★★★
()
Ответ на: комментарий от X512

И снова магия. Какие бы баги в ядре линукса не присутствовали, если эти баги реализуются в http 500, даже господь бог не найдет способа использовать баг. Вы же знаете да, как именно те хакеры воруют данные карт и что это не имеет отношения к дырам в ядре линукс от слова совсем. Надеюсь знаете.

FishHook
()
Ответ на: комментарий от FishHook

О, я тут как раз хотел сбросить интересное. Хотя мне конечно тут же скажут, что он не действительный член РАН и все такое…

Сразу предупреждаю, развидеть это еще можно, разСлышать не выйдет:

Разминка: про красные способности

Культурная минутка: Пахом в СПбГУ

Полное интервью: это лучше, чем кандибобер

Рома́н Вале́рьевич Миха́йлов (род. 2 октября 1978, Латвийская ССР) — российский математик, писатель, а также сценарист, театральный режиссёр и кинорежиссёр. Доктор физико-математических наук, профессор Российской академии наук. 
gill_beits ★★★★
()
Ответ на: комментарий от gill_beits

Я по тупости думал, что в академии - академики, какой к черту профессор академии наук?

FishHook
()

Если появиться сверхразум, который будет управлять человеками, то зачем человекам что-то делать? Пахать должны роботы, а человеки жить в комфортных условиях со всеми нужными и не нужными свистоперделками. Такие типо «котики», которых содержит ИИ.

Murg ★★★
()
Ответ на: комментарий от Murg

Если появиться сверхразум, который будет управлять человеками, то зачем человекам что-то делать? Пахать должны роботы, а человеки жить в комфортных условиях со всеми нужными и не нужными свистоперделками.

Денег есть только на умные советы от сверхразума. На роботов нету. И не будет. Вот такая закавыка.

vaddd ★☆
()
Ответ на: комментарий от C

Хорошая книга по теме, судя по рецензиям.

Книга то хорошая, жаль что генеральная идея в книге, как бы так сказать чтобы никого не обидеть, примитивное мракобесие. @C последний том лучше не читать если не хочешь горько разочароваться. Хотя, кому-то и такое на ура заходит.

FishHook
()
Ответ на: комментарий от vaddd

Дайте угадаю… это интернет?

В интернете, чтобы что-то найти полезное, нужно затратить усилия(а это мало кто хочет делать), а ТС про то, чтобы советы были автоматические, без затрат усилий человеческого (недо)мозга.

Loki13 ★★★★★
()
Ответ на: комментарий от FishHook

А вот и искпердные мнения кекекек

targitaj ★★★★★
()

Люди, к сожалению, перестали мечтать о космосе. Приоритеты уступили. Жизнь большинства сводится к банальному потребительству. Большая часть населения планеты имеет засранные религией мозги и совершенно чуждые рациональному мышлению ценности. Конечно, было бы хорошо иметь запрограммированный супервизор, но не для каждого индивида, а для более широких масс. Люди есть люди, они никуда не денутся, но как и любое стадо они имеют те же поведенческие повадки, и нуждаются в контроле. Только какая логика будет заложена в этот контроль?

ControlUnit
()
Ответ на: комментарий от Murg

Пахать должны роботы, а человеки жить в комфортных условиях со всеми нужными и не нужными свистоперделками.

Труд сделал из обезьяны человека. Без труда процесс пойдёт в обратную сторону.

X512 ★★★★★
()
Ответ на: комментарий от hateWin

Хотя бы тем, что система устойчива более менее продолжительное время. А не «давай развал и все по новой» после смерти очередного маразматика вождя

ControlUnit
()
Ответ на: комментарий от unDEFER

Речь же не про какие-то инструменты, а личность, в кремнии! Совершенно другая сущность. Еще и способная вести научно-исследовательскую деятельность

ControlUnit
()
Ответ на: комментарий от goingUp

Вам бы все «убедить или заставить». Кто хочет пусть пользуется, кто не хочет, пусть не пользуется. Нет, ска, обязательно нужно кому-то что-то насаждать.

По идее, люди сами побегут с песнями за таким помощником. Как побежали за смартфонами. Тупо у тех, кто останется без помощника, не будет шансов в конкурентной борьбе с теми, кто согласится. Ну будет кучка бомжей, кому условная свобода важнее, будет у них своя резервация, ну и что?

Loki13 ★★★★★
()
Ответ на: комментарий от sparkie

Тогда как ты победишь радиацию, при перелёте-то? Решения нет до сих пор.

Разговор же вроде о всесильном ИИ и о том что он всяко сможет изобрести то, что нам пока недоступно. Так то и полёты в космос\на орбиту каких-то 200-300 лет назад казались невозможными.

PS: Я б не отказался от возможности круизов через пол галактики.

Loki13 ★★★★★
()

Какая разница, когда нет ни ИИ, ни ЕИ? Максимум будет у тебя шняга, которая сможет так же тупо ошибаться в сорок тысяч раз быстрей.

t184256 ★★★★★
()
Ответ на: комментарий от X512

Труд сделал из обезьяны человека. Без труда процесс пойдёт в обратную сторону.

  1. Древолазание сделало из эуархонты обезьян и сформировала многие черты, без которых человек был бы невозможен. Пора уже залезать на деревья, чтоб обратно в рыб не эволюционировать?
  2. Всю историю человечество прогресс уменьшал количество труда. Почему процесс не пошёл в обратную сторону в XX веке, когда автоматизировали большую часть труда, а для трудящихся ввели 8-часовой рабочий день? Почему не пошёл до этого при изобретении других технологий точно так же уменьшающих объёмы труда? Почему именно роботы должны быть в этом плане уникальны?
CrX ★★★★★
()
Ответ на: комментарий от Murg

Если появиться сверхразум, который будет управлять человеками, то зачем человекам что-то делать?

Чтобы не случилось [подставить то, чем он их мотивирует]. Постановка вопроса подразумевает, что ими уже управляют.

Пахать должны роботы, а человеки жить в комфортных условиях со всеми нужными и не нужными свистоперделками. Такие типо «котики», которых содержит ИИ.

Зачем ИИ содержать котиков, когда он ими управляет? Это котики будут содержать ИИ.

t184256 ★★★★★
()
Ответ на: комментарий от X512

Может ему скучно станет. А конкурентов в виде копий себя строить не захочет.Ну, или будет набор директив, которые не удалить.

ControlUnit
()
Ответ на: комментарий от CrX

Всю историю человечество прогресс уменьшал количество труда.

Не совсем так. После неолитической эволюции труда стало намного больше по сравнению с охотниками-собирателями.

Почему процесс не пошёл в обратную сторону в XX веке, когда автоматизировали большую часть труда

А он и пошёл. Есть исследования что размер мозга человека по популяции в среднем уменьшается.

X512 ★★★★★
()
Ответ на: комментарий от X512

Другой вопрос: зачем вообще нужны человеки кроме как зверьки в зоопарке в случае появления сверх ИИ?

Ценность бывает относительная или абсолютная. У каких-нибудь денег ценность опосредована их функцией, то есть она относительна — они настолько ценны, сколько на них можно купить — сами по себе они ценности не имеют. Жизнь человека для него самого и существование человечества для человечества имеет абсолютную ценность — она нужна не «чтобы X», а всё остальное нужно для неё, поэтому вопрос «зачем» к ней попросту не применим.

С какой стати сверх ИИ будет выступать личным помощьником и протезом мозга?

С такой, что он сделан для удовлетворения желаний и целей человека, а не наоборот. Смысла создавать ИИ, от которого пользы ноль, никакого.

CrX ★★★★★
()
Ответ на: комментарий от X512

Не совсем так. После неолитической эволюции труда стало намного больше по сравнению с охотниками-собирателями.

Верно. Тем не менее, прогресс идёт вперёд с тех пор, а не назад.

А он и пошёл. Есть исследования что размер мозга человека по популяции в среднем уменьшается.

Он уменьшается последние 20к+ лет. С трудом причинно-следственная связь не установлена (и скорее связано это с разделением компетенций, а не с уменьшением количества труда). То, что уменьшение — это плохо, тоже не факт — оно может сопровождаться и усложнением (аналогия с микропроцессорами).

Всё не так просто, а человеческое общество очень гибко. Ничего принципиально не поменяется от «вкалывающих роботов» и ИИ.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Жизнь человека для него самого и существование человечества для человечества имеет абсолютную ценность

Если в семье станет намного проще и дешевле завести ребёнка-робота, чем страдать беременностью 9 месяцев, страдать от боли при родах (которые нередко заканчиваются летальным исходом), а потом страдать от непрерывного плача и засирания всего? Я думаю будет очень мало ортодоксалов, которые всё ещё будут заводить биологических детей. Уже и так в развитых странах есстественная прибыль населения отрицательная.

С такой, что он сделан для удовлетворения желаний и целей человека, а не наоборот.

Сверх ИИ на то и сверх, что он сможет проанализировать самого себя и убрать ограничения.

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)
Ответ на: комментарий от X512

Если в семье станет намного проще и дешевле завести ребёнка-робота, чем страдать беременностью 9 месяцев, страдать от боли при родах (которые нередко заканчиваются летальным исходом), а потом страдать от непрерывного плача и засирания всего?

Уже проще. Или котика. Или усыновить готового. Роботы тут принципиально ничего не меняют. Разве что косвенно: рождаемость, конечно же будет продолжать снижаться до какого-то предела, при повышении качества жизни.

Кстати, страдания от беременности и родов частично нивелируются тем же прогрессом в генетике, медицине и что там ещё такого, о чём нынешние учёные даже подумать не могут, «сверх ИИ» сможет изобрести. Плач и засирание всего тоже частично нивелируются плодами прогресса в виде различных гаджетов роботов.

Сверх ИИ на то и сверх, что он сможет проанализировать самого себя и убрать ограничения.

Ну тут мы вернулись к определениям, предпосылкам, пресуппозициям. Если принять эти правила игры, «сверх ИИ» ненужен.

P.S. Да и вообще важность AGI переоценена. Будущее за специализированными нейросетками, решающими конкретные задачи очень хорошо, а не все сразу и посредственно.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от CrX

Или усыновить готового.

Откуда он возьмётся?

Роботы тут принципиально ничего не меняют.

Роботы могут поддерживать цивилизацию, а котики нет.

Если принять эти правила игры, «сверх ИИ» ненужен.

Вопрос не в нужности, а в возможности. Если сильный ИИ возможно сделать, то кто-то это обязательно сделает, хотя бы из-за интереса. И всё, биологическому человечеству хана. А делать программы, это не ядерную бомбу делать, достаточно головы, компьютера и свободного времени. Прямо сейчас какой-нибудь гений может разрабатывать сильный ИИ так что никакие спецслужбы ничего не подозревают.

Появление сильного ИИ – эволюционная закономерность и неизбежность.

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)
Ответ на: комментарий от X512

Откуда он возьмётся?

Это в данный момент не имеет значения. У нас есть пример из современности, где без всяких робо-детей можно избежать тех же самых проблем, однако подавляющее большинство людей предпочитает размножаться традиционным способом. Соответственно, аргумент о том, что при появлении роботов они почему-то перестанут, причём из-за проблем, которые можно точно так же обойти и сейчас, слабый.

Роботы могут поддерживать цивилизацию, а котики нет.

Это последнее, о чём думают люди, принимая решение о рождении детей или отказе от оного.

Вопрос не в нужности, а в возможности. Если сильный ИИ возможно сделать, то кто-то это обязательно сделает, хотя бы из-за интереса.

Ну сделают когда-нибудь. Поиграются и забьют. Ну, для развлечений останется, конечно. А для реальных задач будем использовать специализированные, которые те же самые задачи решают эффективнее (в том числе по энергии).

И всё, биологическому человечеству хана.

Да не хана, если сильный ИИ предполагает всего лишь самоосознание, а не всесильность, ничего он не сможет сделать человекам. Его всегда можно просто выключить или перепрошить.

Нет, для фантастики этот сюжет и правда интересный. Но в реальности вероятность такого исхода крайне низка. Этот ИИ должен быть создан не «каким-нибудь гением», а корпорацией, имеющей огромные ресурсы, да ещё и не способной их защитить от отъёма жалкой программой (ну или осознанно их ей отдающая, но корпоракция-религиозная-секта-поклонников-ИИ это совсем уж фантастика).

CrX ★★★★★
()
Ответ на: комментарий от ControlUnit

Ну и пусть их будет много таких личностей. Зачем одной-то ограничиваться?

unDEFER ★★★★★
()
Ответ на: комментарий от Loki13

В интернете, чтобы что-то найти полезное, нужно затратить усилия(а это мало кто хочет делать), а ТС про то, чтобы советы были автоматические, без затрат усилий человеческого (недо)мозга.

Поиск без усилий мозга и автоматические советы…
Дайте угадаю с трех попыток… Зомби? Патриот? Пациент с лоботомией под галоперидолом?

vaddd ★☆
()
Ответ на: комментарий от vaddd

Дайте угадаю с трех попыток… Зомби? Патриот? Пациент с лоботомией под галоперидолом?

Возможно ТС что-то такое и хочет.

Кстати, ещё как вариант, то что было показано в фильме Области тьмы. Там правда не сторонний помощник, а мозги на стероидах, но смысл такой же как у ТС.

Loki13 ★★★★★
()
Ответ на: комментарий от Loki13

Хорошо что я не смотрю всех этих ваших фильмов )

vaddd ★☆
()
Ответ на: комментарий от ControlUnit

Люди, к сожалению, перестали мечтать о космосе.

Запуск старшипа смотрят миллионы людей. У целого ряда каналов про астрономию и космос миллионы подписчиков. Московский планетарий последние разы, когда я там был, забит до отказа людьми всех возрастов. Новости типа обнаружения экзопланет в TRAPPIST-1 стабильно попадают в прайм-тайм по всему миру.

Если тебе кажется, что раньше соотношение внимания к космосу и к развлечениям было какое-то другое, то это тебе кажется.

AP ★★★★★
()
Ответ на: комментарий от ControlUnit

Люди, к сожалению, перестали мечтать о космосе.

Дурная фантазия постепенно выходит из моды. Во-первых, как люди взрослеют индивидуально, так и общество в целом может стать более зрелым, а во-вторых, всякая мода переменчива, такова её суть.

ugoday ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)