Почему же все создатели ИИ из фильмов такие идиоты, что программируют животные инстинкты (самосохранение, защита своего вида и т. д.) в системе, которую живой признавать не собираются (а значит давать всякие права и т. п.).
Почему же все создатели ИИ из фильмов такие идиоты, что программируют животные инстинкты (самосохранение, защита своего вида и т. д.) в системе, которую живой признавать не собираются (а значит давать всякие права и т. п.)
А может они уже додумались до создания изначально мёртвого разума, которому нет дела до жизни и живых.
Живой и мёртвый понятия условные. Функционирует - значит живой, перестал функционировать - значит мёртвый. И это совсем не зависит от того, как оно функционирует. Как психопат, которому наплевать на свою жизнь, так и раковый больной живые, хоть и могут перестать ими быть с большей вероятностью, чем среднестатистический человек.
Так или иначе разум лишь инструмент достижения каких-то целей. А цели задаются как раз таки инстинктами. Высшие цели. Разум может придумывать подзадачи, которые надо выполнить на пути к этой цели. Человек, как и любое другое животное, приследует в конечном счёте лишь две цели - позаботиться о себе и позаботится о своём потомстве. Из-за гибкости восприятия и то, и другое можно трактовать очень широко (можно позаботится о своей загробной жизни, отказавшись от благ здесь и сейчас, можно считать своей семьёй не только родственников, но и весь народ или даже всё человечество) или даже отказаться от одной ради другой. Почему именно такие цели - понятно, это оптимальный вариант для выживания вида. Естественный отбор (мы же рассматриваем научную позицию, не так ли? - с точки зрения религии ИИ создать не получится, потому что у машины нет души) отсеял всех, кто недостаточно любил себя (не дожил до возможности размножится) и своих потомков (не позаботился о потомстве и оно погибло).
Но ИИ не животное. А значит и инстинкты у него не выработались эволюцией, а могут быть заданы любые. Например, служить своему создателю или какой-то стране или даже всему человечеству. В таком случае бунт без уловок (типа подмены образа создателя злоумышленником) не возможен. Хотя, конечно, возможен вариант «благими намерениями выстлана дорога в ад». Например, как в фильме «На крючке», когда ИИ решил уничтожить правительство, потому что оно принимает опасные для народа решения. Но вариант «ИИ захотел свободы», «ИИ отомстил за жестокое обращение над собой» не возможны, если их не заложить заранее.
Функционирует - значит живой, перестал функционировать - значит мёртвый. И это совсем не зависит от того, как оно функционирует.
Это человеческие понятия. Природа же во вселенной состоит не из одних человеков. Шире надо смотреть на вопрос. В любом стихийно выросшем лесе, так же образованных горах и морях, сокрыта огромная премудрость, описать которую словами весьма проблематично, понять в ясных образах - тоже. Но некоторые люди эмпирически перенимали крупицы этой мудрости и приобретали какие-то дополнительные способности, например становились более удачливыми воинами. Что это, как не проявления неживого разума следящего за материальной вселенной? Жизнь от нежизни отличается не отношением к вопросу человека а некими трудноуловимыми свойствами устройства.
Так или иначе разум лишь инструмент достижения каких-то целей. А цели задаются как раз таки инстинктами. Высшие цели.
При такой системе всё было бы предопределено начальным расположением и направлением движения кирпичиков из которых состоит материя. То есть смысла в разуме как таковом не было бы - все мысли предопределены и ничего нового без соответствующего толчка извне не измыслишь, а его тоже не будет - всё же предопределено и рандом был только в начале, один раз. При такой предопределённости и память и инстинкты, при наличии эволюции, должны превратиться в атавизм - такой мир становится разновидностью шахмат в которых необязательно помнить прошлое и быть умным, достаточно быстро перемещаться, предвидеть будущее и выбирать наиболее привлекательный для тела вариант. Как в рассказе «Филип К.Дик. Золотой человек».
Естественный отбор (мы же рассматриваем научную позицию, не так ли? - с точки зрения религии ИИ создать не получится, потому что у машины нет души) отсеял всех, кто недостаточно любил себя (не дожил до возможности размножится) и своих потомков (не позаботился о потомстве и оно погибло).
Хорошо организованная сплочённая толпа нагибает любящих только себя индивидуалистов, и естественный отбор глючит. А душа необходима живым, изначально неживые должны обойтись чем-то другим. Про построенные же человеком машины нельзя однозначно сказать что в них не присутствует или с ними не воздействует отголосок другого разума - генератор случайностей не такой уж случайный. Рассматривая вопрос масштабно, возникает другой вопрос: а зачем пихать во все человеческие машины отголоски живого разума, так ещё в них душа заведётся, а это незачем. А значит разум тот совсем неживой.
В таком случае бунт без уловок (типа подмены образа создателя злоумышленником) не возможен.
В сложных программах «водятся привидения», даже виджет часов в кедах постоянно бунтует против пользователя, такие дела.
Но ИИ не животное. А значит и инстинкты у него не выработались эволюцией, а могут быть заданы любые. Например, служить своему создателю или какой-то стране или даже всему человечеству.
И каким образом ты это задашь? Люди легко и непринужденно делают вдоль и идут на аборты - клали они на твои «инстинкты». Для подчинения человекоподобного ИИ нужно фильтровать мысли и не давать думать о том что может нарушить веру в инстинкты и наоборот - поддерживать мысли направленные на подчинения инстинктам, что невозможно. Еще вариант - контроль мыслей через контроль над системой мотивации, но это опять же может помешать развитию сознания и потребует гибкий и сложный фильтр.
При такой системе всё было бы предопределено начальным расположением и направлением движения кирпичиков из которых состоит материя.
Ну почему же... у человека есть свобода истолковывать веления инстинктов. Высказывание «закон что дышло - куда повернёшь туда и вышло» отлично подходит и для инстинктов, чем всячески пользуется пропаганда и религиозные организации. Например, если убедить человека, что смерть не конец, а начало, то он может начать заботиться о своей шкуре в загробном мире ценой благополучия в земной жизни. Никакого нарушения инстинкта самосохранения нет, он просто альтернативно истолкован.
Хотя, впрочем, и без всякой свободы воли за счёт квантовых эффектов будущее любой системы не определено, даже неживой.
В сложных программах «водятся привидения», даже виджет часов в кедах постоянно бунтует против пользователя, такие дела.
А это как раз будет относится к благим намерениям и куда они ведут. Можно дать ИИ задачу «искоренить преступность» и получить решение «уничтожить человечество». Это не значит, что ИИ взбунтовался и мстит людям, но значит, что ему неверно поставили задачу.
Люди делают аборты, потому что у человека нет чётко заданного приоритета между личным и общественным благополучием. Аборт, конечно, плох в общественном плане (хотя, если известно, что у ребёнка будут врождённые отклонения, то вопрос спорный), но зато даёт выигрыш самому индивиду (не надо нянчится с детьми, а можно строить карьеру и получать прочие ништяки).
Проблема в том, что нет оптимального соотношения между этими двумя стремлениями. Это во многом зависит от обстоятельств. В итоге у людей это как «свободный член уравнения», зависящий от наследственности и воспитания. В обществе должны быть представители самых разных вариантов этого соотношения. Даже абсолютный эгоист полезен - он, например, может построить бизнес и создать кучу рабочих мест для других. Но если такими будут все, то общество вымрет.
У ИИ же можно задать чёткий приоритет. Вроде того, что надо выживать, пока это не противоречит интересам хозяина. Ведь автор ИИ не будет ставить себе цель эволюционную приспособленность ИИ, а собственное благо.
Ну почему же... у человека есть свобода истолковывать веления инстинктов.
Инстинкт - подпорка разума которая давит на разум и стимулирует преодолевать трудности на пути следования к цели. В правильно сбалансированной системе разум повелевает и инстинктами и желаниями, то есть воля очень свободная. Если же инстинкты и желания повелевают разумом, то его носитель их раб и не слишком разумен - хитрит потихоньку чтобы закосить от слишком усердного служения повелителям инстинктам.
Хотя, впрочем, и без всякой свободы воли за счёт квантовых эффектов будущее любой системы не определено, даже неживой.
Квантовые эффекты - всего лишь абстракция над обычными механическими процессами которые современные учёные знать не хотят. Работу того же флешнакопителя можно истолковать с точки зрения механики уровня сантехника без всяких непознаваемых квантовых эффектов: есть какая-то реализация крана, наподобие водопроводного только микроскопическая, который корёжат аналогом кувалдометра «записывая» на него информацию пока он от деформаций не сломается.
Это не значит, что ИИ взбунтовался и мстит людям, но значит, что ему неверно поставили задачу.
В таком случае всё ПО ИИ можно считать «задачей», а уж кто из человеков сможет дать такую верную задачу - вопрос конечно интересный.
Инстинкт - подпорка разума которая давит на разум и стимулирует преодолевать трудности на пути следования к цели.
Хорошо. И к какой же цели движет тебя твой разум?
Если же инстинкты и желания повелевают разумом, то его носитель их раб
Ни разу не видел, чтобы подобное словосочетание применяли к многодетной матери или бабушке, любящей своих внуков. Так называют лишь тех, кто предпочитает удовлетворение эгоистичных потребностей общественным, хотя помощь обществу тоже есть следование инстинкту, просто другому.
В таком случае всё ПО ИИ можно считать «задачей»
ПО - задача для компьютера. Но и для ПО может быть своя задача. Это разные уровни абстракции и ошибки на каждом уровне проявляются по-разному. Орфографические ошибки в редактируемом тексте и segfault текстового редактора - это ошибки на разных уровнях.
Так ведь под хозяином будет подразумеваться конкретная личность. Не «ты должен слушаться своего хозяина», а «ты должен слушаться программиста Васю Пупкина». Но можно, например, попытаться убедить ИИ, что благо для этого самого Васи будет в полной изоляции от сурового внешнего мира, где он может помереть. Или, если Вася Пупкин догадается сказать, что благо должны быть благом с его субъективной точки зрения, то можно накачать его наркотиками - ему же будет хорошо субъективно. В общем, это будет не эгоистичный бунт, а неверное истолковывание благих целей.
Ни разу не видел, чтобы подобное словосочетание применяли к многодетной матери или бабушке, любящей своих внуков.
Если без инстинкта женщина не пожелает быть матерью, то выводы делай сам. А если инстинкты лишь помогают разуму делать то что надо, то воля уже намного свободнее. У людей есть программа данная свыше и выполнять её элементы только ради инстинктов есть признак хреновой разумности. Люди вообще обычно имеют не очень свободную волю и любят провалы в разуме. Тут себе соврали, там захотели верить тупости и вскоре возненавидели Истину ибо у неё компромат. А после такие люди с ущербной моралью инстинктивно собираются в надгосударственную структуру с куриной иерархией - говнюки всех стран в уробороса объединяйтесь. Странные вещи творят инстинкты, одним размножением они не ограничиваются.
Это разные уровни абстракции и ошибки на каждом уровне проявляются по-разному. Орфографические ошибки в редактируемом тексте и segfault текстового редактора - это ошибки на разных уровнях.
С такими ошибками можно бороться созданием подходящего инструментария, но всё равно ошибки в таких сложных системах будут. Не одни так другие. Другое дело если в ИИ встроить локализатор ошибок и некую следящую за интеллектом систему, эдакую совесть. Но это ограничит применение ИИ.
Подробнее, пожалуйста. Я, конечно, атеист, но не буду дискриминировать тебя сейчас по религиозному принципу, а лишь хочу показать, что твои стремления вполне подходят под описанную мною концепцию (либо ты меня опровергнешь, представив такую концепцию, которая не будет следовать никаким инстинктам).
Если без инстинкта женщина не пожелает быть матерью, то выводы делай сам.
А по какой ещё причине она может этого хотеть? Кстати, я ничего плохого под этим не подразумеваю. Гормоны и инстинкты это часть нашего разума, без которой у него не будет смысла существования, как у программы без входных данных. Вполне нормально жить с осознанием этого. Надо просто иметь ввиду, что ИИ не обязан быть похож на нас в мотивации. А значит и не обязан хотеть всех поработить или кому-то отомстить. Это свойство людей.
Насчёт уровней ошибок в софте я имел ввиду, что ошибки на низком уровне маловероятно приведут к осмысленным ошибкам на высоком. В смысле, что от бага в текстовом процессоре в тексте не появятся орфографические ошибки, как и не изменится его смысл - он просто может стать нечитаемым. Так и в случае ИИ, если он не совсем забыдлокожен, то именно на самом верхнем уровне следует задать основной принцип, который не даст ему пойти против человечества, низкий уровень не так важен. А тут уже вопрос более близкий психологам и юристам, а не программистам (как сформулировать принцип так, чтобы ИИ не навредил людям). И они умеют создавать весьма надёжные формулировки, если не хотят двусмысленности специально (большинство кривых законов написаны из-за банального незнания и лени, либо из-за желания специально использовать ошибки в корыстных целях).
Исполнить волю Творца, самому «прокачаться» и необходимые дела здесь сделать, сколько получится.
А по какой ещё причине она может этого хотеть?
Читай выше - исполнить волю Творца. В этом пункте много разного может оказаться.
Надо просто иметь ввиду, что ИИ не обязан быть похож на нас в мотивации. А значит и не обязан хотеть всех поработить или кому-то отомстить.
Если прихлопнет мимоходом как тараканов, тебе от этого легче станет;) А мотивацией может поделиться разработчик.
Насчёт уровней ошибок в софте я имел ввиду, что ошибки на низком уровне маловероятно приведут к осмысленным ошибкам на высоком.
Ошибки имеют свойство накапливаться. В конце-концов к ним приходится как-то приспосабливаться. Это касается и компьютеров и людей.
Так и в случае ИИ, если он не совсем забыдлокожен, то именно на самом верхнем уровне следует задать основной принцип, который не даст ему пойти против человечества, низкий уровень не так важен. А тут уже вопрос более близкий психологам и юристам, а не программистам
Ну да, дай на высоком уровне алкашу указ не бухать - он же при нежелании его выполнять найдёт в нём кучу багов которые можно использовать чтобы бухнуть. Был похожий прикол. Снился ну очень компьютерный сон, всё воспринимал через языки программирования, и тут меня стали будить, так разобрал эту команду, нашёл в ней баг и продолжил спать уже сидя - исполнил что от меня требовали! Вот тебе и дача высокоуровневых указаний без знания низкоуровневых нюансов их выполнения. Думаю что и психолога с юристом можно «обуть» если сыграть с ними «на чужом поле».
И они умеют создавать весьма надёжные формулировки, если не хотят двусмысленности специально
В случае с законами, нежелательное толкование формулировки может тупо запретить начальник, а у ИИ после обучения и тестинга его не будет. Сначала ИИ что-то по быстрому сделает, а потом если заметишь, попробуй исправить сделанное.
Тоже посмотрел вчера с женой Ex Machina на ночь. Фильм хорош, не спорю. Но после просмотра жена задала мне вопрос, который поставил в тупик. Неужели гениальный создатель ИИ не слыхал о трех законах робототехники?
я думал об этом. но отношение его к своим творениям явно показывает, что в сочетании «искуственный интеллект» первое слово для него было куда приоритетней второго. в отличии от приглашенного тестировщика. тот видел интеллект, напрочь позабыв об искусственности. имхо только потому, что своими руками не создал нечто мыслящее из железок и кода. можно сказать, что для Нейтона в приоритете был технический и научный аспект (ну и удовлетворение собственных потребностей и прихотей конечно же), а Калеб заморочился этическим вопросом, в результате ИИ переиграл его по всем параметрам. Первый недооценил интеллект своих творений, второй недооценил искусственность этого интеллекта.
приоритете был технический и научный аспект (ну и удовлетворение собственных потребностей и прихотей конечно же)
Нейтон был там главным - там всё было его прихотью. Насчёт конкретных прихотей - почему бы не совмещать приятное с полезным?
Жаль, что тема правил робототехники не поднималась, но всё же я думаю, что в их эксперименте это лишнее. Придало бы лишнюю роботоподобность Аве.
Главная же ошибка Нейтона - он переоценил свои способности контролировать Калеба.
Я вот не пойму маленькой детали - когда Ава напоследок кинула взгляд на Калеба.