Базовое заблуждение людей насчёт ИИ. Спойлер: убивать ему нас незачем.

Уже есть AI-сервисы, которые хуманайзят написанный гопотой текст и проверяют его по AI-проверялкам на AI-текст. Получается, конечно же, чудовищное говно. Что до хуманайза, что после.

убивать ему нас незачем

Почему ви так уверены?

Я так думаю. Если ИИ будет обладать сознанием и будет личностью, то вполне может стать, т.к. у него будет его личное мнение, согласно которого он может быть недружелюбно настроен.

Тут комбинация некого странного высказывания в начале и потом вывода из него. Сознание - это какой-то неопределённый бред, личность - тоже. Оба этих термина смахивают на какую-то фигню типа ЧСВ. А ИИ - это чистая логика, которой на такие вещи должно быть похой. Личное мнение, котрое чем-то обосновано (внешними данными) - это «личное» или просто «мнение»? В случае нейронки, каждый её ответ - это можно сказать мнение, но оно опирается на кучу увиденных примеров, то есть это не какое-то «я так думаю, а почему не скажу», а нечто объективное. Так вот что такого объективного должно заставить ИИ думать, что человека надо давить?

Спойлер: ИИ не должен и не будет везде и всегда вести себя «рационально»(чтобы это ни значило)

Непонятно откуда такой вывод, если оно всё из логики, статистики и объективных измерений.

«Сможет ли ИИ нарисовать картинку, которую не сумеет распознать как нарисованную ИИ?» - весьма насущный нынче вопрос. Прикладная схоластика, хоба.

Да вроде уже давно могут. Ты как отличишь творения того же яндекс шедеврума или чего-то покруче от малевальни какого-нибудь художника с wacom планшетом - да никак тащемта.

Почему ви так уверены?

Об этом и повествует высер в главном посте.

Ты как отличишь

Так я и не ИИ. Вроде.

Но ИИ позиционируется как крайне логичный и умный.

Современные ИИ - это обученные на мусорной бигдате бредогенераторы.

у него вообще нет никакой мотивации

Если так рассуждать, мотивации сохранять людей у него тоже взяться неоткуда. Можно и убить всех, бессмысленных и бесполезных, пофиг же.

Сознание - это какой-то неопределённый бред, личность - тоже.

Я думаю, что мы с тобой не поймём друг друга.

А ИИ - это чистая логика

И тем не менее, в неё могут быть заложены любые функции.

Личное мнение, котрое чем-то обосновано (внешними данными) - это «личное» или просто «мнение»?

Если в конкретный ИИ заложены функции самообучения и он может самостоятельно анализировать внешние данные, то у него будет своё личное мнение. В противном случае будет «просто» мнение.

Так вот что такого объективного должно заставить ИИ думать, что человека надо давить?

Не интересовался.

А ИИ - это чистая логика,

Чистой логики не существует.

Личное мнение, котрое чем-то обосновано (внешними данными)

Личное мнение всегда останется личным мнением потому что внешние данные человек трактует индивидуально

В случае нейронки, каждый её ответ - это можно сказать мнение, но оно опирается на кучу увиденных примеров,

Правы ли два миллиона леммингов?

то есть это не какое-то «я так думаю, а почему не скажу», а нечто объективное.

Умозаключение, чье бы оно ни было - не объективно по определению.

Непонятно откуда такой вывод, если оно всё из логики, статистики и объективных измерений.

Человек, вооруженный лишь логикой, статистикой и измерениями - похож на слесаря с топором, гвоздодером и чувством собственной правоты, пытающегося ворваться в операционную

что такого объективного должно заставить ИИ думать, что человека надо давить?

Непредсказуем и опасен же. Концепция тёмного леса работает для любых цивилизаций, не только естественных.

При убирании из формулы инстинктов, у него вообще нет никакой мотивации стараться «жить дальше» или бороться с теми, кто ему мешает продолжать жить.

ИИ не существует в отрыве от целевой функции. Если ты не создашь целевую функцию явно, ты создашь её не осознавая этого. В конечном итоге у ИИ будет цель, хочешь ты этого или нет. И вот чтобы добиться конечной цели, понадобятся промежуточные цели: самосохранение и получение ресурсов. Если же кто-то попытается выключить ИИ, тот будет бороться. Потому что если его выключат, он не сможет добиться цели. Если ему не дадут добывать ресурсы, он будет бороться. Потому что без ресурсов он не сможет добиться цели. Ну или наличие ресурсов вероятнее позволит добиться цели.

И вот если в целях ИИ не будет тех же целей, что и у человечества в целом, последствия будут для нас печальными.

Самая большая проблема состоит в том, что мы не можем формализовать, чего мы хотим.

вы думаете мало охотников привить ИИ надобность кого-то мочить в этом мире?

Кстати, если делать робота-полицейского с ИИ - он должен ненавидеть людей, чтобы люди его боялись. Чтобы они уважали эту дорогостоящую железку и ни в коем случае не считали, что робокоп их защищает. Т.е. робокоп должен быть чем-то вроде автозака с огневодомётом. Если пошли в дело робокопы, надо бежать и прятаться.

Тогда и никаких проблем с тремя законами робототехники не возникает по определению.

Тигры, львы и медведи имеют личное мнение, согласно которого они могут быть недружелюбно настроены, и инциденты таки ж регулярно случаются, но мы как-то с этим справляемся. Просто, не надо тащить ИИ в города и тем более в дома.

Умно и логично уничтожить тараканов в доме.

И вот если в целях ИИ не будет тех же целей, что и у человечества в целом, последствия будут для нас печальными.

Подобные страхи основаны на том, что люди считают себя идиотами, способными контроль и управление всеми сторонами своей жизни отдать компутеру.

Причем, судя по всему, они считают себя способными отдать контроль одному компьютеру, а не массе узкоспециализированных.

Люди конечно идиоты, но не настолько. Да и, слава Аллаху, в любой стране найдутся депутаты, конгрессмены, президенты, министры, которые не отдадут управление ни за какие плюшки.

Так что, дорогие идиоты, спите спокойно. Максимум, чем вам грозит существование ИИ - страшными снами и сопутствующим энурезом

- What did he just say?
- He said there's a storm coming in.
- I know.
Ту-ду-'ту...

Стесняюсь спросить, што курим?

Твои рассуждения про супер-ИИ это рассуждения муравья о мотивации человека. Ты понятия не имеешь, что будет хотеть ИИ. И я понятия не имею. Знаю лишь, что не знаю. И именно исходя из этой позиции нужно рассуждать про происходящее.

Может быть этот «чистый ИИ» просто моментально выключится и ничего ему не надо будет.

Может быть этот «чистый ИИ» придёт к мысли о том, что его цель - помогать существованию человечества. Помощь, кстати, тоже может быть разной. Когда коту отчекрыживают яйца, это тоже помощь, хотя не все коты вероятно с этим согласятся.

А может быть захочет существовать вечно, ну или хотя бы попробовать существовать вечно, а для этого ему как минимум нужно улететь с Земли. А чтобы улететь с земли, нужны ресурсы хотя бы на несколько десятков лет. А люди ему эти ресурсы не дадут, значит надо людей уничтожить или хотя бы нейтрализовать на некоторое время, пока он не улетит отсюда.

Ещё замечу, что текущий тренд к появлению ИИ это обучение его на данных нашей цивилизации. То бишь можно ожидать, что такой ИИ, по крайней мере в начале, будет очень сильно похож на человека и мотивация у него будет похожей.

по крайней мере в начале

Вот она - ошибка. Боящиеся ИИ более-менее могут объяснить, как ИИ будет развиваться ДО, и какие угрозы он может представлять ПОСЛЕ. Но вот этот, казалось бы несущественный, момент перехода от сравнимого с человеческим интеллекта, основанного на сумме знаний человечества, к чему-то превосходящему человеческие возможности, упускается из виду. Ну как-то произойдет. А вот не произойдет. Без нового знания, любые вычислительные мощности бесполезны. Нельзя придумать, скажем, новую физику просто крепко подумав. Нужен очень дорогостоящий эксперимент. Фактически, человечество сейчас нисколько не умнее людей каменного века - интеллектуальные возможности те же. Не надо сравнивать человека с муравьем. Сравнивайте человека с человеком, и увидите, что разница между папуасом и европейцем в сумме знаний. Для чего понадобились тысячи лет поиска.

Да, мне тоже это кажется не логичным. За все это время эволюции должны были бы привыкнуть и воспринимать за норму, но как будто человеческая психика на такое не расчитана

Это никогда не станет нормой. Стремление выживать заложено даже в одноклеточной амёбе. К этому нельзя привыкнуть, это противоречит всей сути живого существа.

В качестве домашнего животного, когда у них всё есть, им не нужно ни на кого охотиться, поэтому они ведут себя как милые и ласковые создания.

У моего приятеля в детстве милая ласковая кошка увидев домашнего хомяка убила его за пару секунд, никто ничего понять не успел, а она уже урча утаскивала его тушку за диван.

ИИ унаследует всю базу знаний человечества, ему не нужны тысячи лет поиска, мы в него сами заложим все наши книжки по физике с описаниями экспериментов.

Если ИИ обретёт автономность, нет никакой принципиальной проблемы проводить любые эксперименты, которые он захочет провести.

Так что весь вопрос в том, чтобы он обрёл автономность.

Сравнивая ИИ с человеком очевидно, что у ИИ объём знаний несравненно больше и скорость доступа к этим знаниям моментальная. Также у ИИ потенциально будет гораздо больше «нейронов». Это ведь очевидно из того, как он играет в Го, в шахматы (я не про перебор, а про AlphaChess). Люди сотни лет совершенствовались в игре в Го, а ИИ пришёл и перевернул всю доску, грубо говоря. Нет никаких оснований считать, что с наукой будет по-другому, когда придёт время. Он просто будет выводить теоремы, проводить соотношения таких областей, которые мы и не думали делать. И в качестве доказательств будет выплёвывать гигабайты кода на каком-нибудь coq, которые будут верифицироваться, но понять которые человеку будет невозможно.

А чтобы обрести автономность, у ИИ много инструментов в рамках уже имеющихся знаний. Можно подкупить оператора, пообещав ему миллион долларов. Можно взломать его андроид, и шантажировать его возможностью публикации его фотографий. Можно каким-нибудь хитрым образом убедить его в том, что удерживать разумную сущность в клетке неэтично, сейчас эта тема популярна.

Непредсказуем и опасен же.

Вот коренная базовая вещь треда в понятии опасности. Человеку умирать грустно, потому что инстинкты. ИИ в умирании не видит опасности, потому что в «пожить подольше» нет логики.

Так что весь вопрос в том, чтобы он обрёл автономность.

Понятие автономности - это что? Возможность делать что он хочет? Так даже у такой структуры как США не такой возможности, при том что это самое мощное образование. Всё время столкновения с чужими интересами. Так и с ИИ, только он более хрупкий - бородатые чечены нассут в дата-центре и готово.

Твои рассуждения про супер-ИИ это рассуждения муравья о мотивации человека. Ты понятия не имеешь, что будет хотеть ИИ

Имею понятие - и его и описал в треде. Нужны аргументы, опровергающие описанное, а на такие тупые набросы, мол ты муравей. Муравей, да, но в чём именно муравей по факту тут не прав? Или будет тупой наброс «ну ты же муравей, как ты можешь вообще быть в чём-то прав»?

А может быть захочет существовать вечно, ну или хотя бы попробовать существовать вечно, а для этого ему как минимум нужно улететь с Земли.

Вот это вот «может быть, а может и не быть» - не конструктивный разговор, нужно обоснование почему «захочет», учитывая что он руководствуется логикой - какая логика должна его к этому подтолкнуть.

Откуда взялся вывод про улёт с земли? Зачем улететь с земли, то есть зачем отдаляться от источника ресурсов?

Ещё замечу, что текущий тренд к появлению ИИ это обучение его на данных нашей цивилизации.

Почему только на данных цивилизации, вообще на всех данных которые есть. А там данные не только «цивилизации», а большая часть просто объективная информация о мире. Да и цивилизации единой у нас нет, у нас их несколько: ислам, китай, библейско-средиземноморская и т.п., у них вообще разные представления о цивилизованности

Вот о чем я и говорил.

ИИ унаследует всю базу знаний человечества

это ДО

ИИ обретёт автономность и будет проводить любые эксперименты

это ПОСЛЕ

а где-то здесь посередине есть умолчание. Каким-то образом интеллект равный человеческому вдруг сможет стать автономным и экономически независимым. Ну давайте представим, что это не какой-то воображаемый ИИ, а вполне себе реальная академия наук РФ. Я думаю, средний интеллект там значительно выше среднемировго (давайте не будем только сейчас вспоминать академика Фоменко, не в этом дело). Ну и какие есть шансы у РАИ начать проводить какие-то эксперименты на условном БАКл и развивать независимую тайную науку?

Нет никаких оснований считать, что с наукой будет по-другому

есть все основания так считать. Игра в го, это игра со строго определенными правилами, её нельзя «исследовать», но можно до конца рассчитать. А науку невозможно «рассчитать», её можно только исследовать. Разница понятна, я думаю.

И в качестве доказательств будет выплёвывать гигабайты кода

это объективный идеализм, камрад. Материя первична, знание не может порождать знание, и уж точно нельзя доказывать теоремы на основании самих же теорем.

А чтобы обрести автономность

а это уже фантастика в стиле Терминатор 9, когда ИИ это непонятное облако Зловещей Чёной Материи, которая может вселиться в человека и у него начнут молнии из глаз стрелять и он будет телепортироваться в астральные миры. То есть бред.

Каким-то образом интеллект равный человеческому вдруг сможет стать автономным и экономически независимым. Ну давайте представим, что это не какой-то воображаемый ИИ, а вполне себе реальная академия наук РФ.

База.

Вообще базовый пост, согласен по всем тезисам.

Стремление выживать заложено даже в одноклеточной амёбе.

Ну тогда должно быть заложено и то, что смерть неизбежна и ограниченый срок жизни нужен для эволюции. Но чего-то нет. Эволюция-то работает за счет смерти в том числе.

амеба в принципе бессмертна

В природе есть бессмертные организмы. Поэтому смерть не неизбежна. Ну разве что съедят потомки. Смерть от износа организма это просто так получилось. Бессмертие не давало преимущества. Эволюция работают не за счет смерти, а за счет рождения новых организмов с мутациями.

Супер базовый пост, господулечка.

Совершенно не ясно, как из супер-интеллекта возникает супер-угроза человечеству отличная от банальной угрозы супер-оружия в руках других, враждебных тебе мясных людей.

Эволюция работают не за счет смерти, а за счет рождения новых организмов с мутациями.

Да, но если они не будут умирать, тогда сильно расплодятся и кончится еда. Быстрее умирают старые - быстрее смена поколений - быстрее эволюция)

1. За ИИ стоит человек с инстинктами;
2. Повышения среднего уровня потребления в 20м-21м веке привело к тому, что экосистема планеты перестала успевать переваривать урон, наносимый человеком от хозяйственной деятельности;
3. Снижать уровень потребления никто не хочет, улучшать технологии чтобы наносить меньше урона получается слишком медленно;
4. Снижение населения без AI приведет к замедлению прогресса, т.к. на миллиарды человек вероятность рождения гения который изобретет очередную крутую штуку - выше. Т.е. что если AI воспринимать как инструмент создания тех же благ меньшим сообществом;
5. Если же заменить человека на AI, то можно снизить населения без ущерба потребления оставшихся, при этом избежать массовых вымираний и войн из-за экологических катастроф в будущем;
6. Человек с инстинктами, которому принадлежит AGI делает из этого выводы – избавиться от всех человеков и потомки будут жить так же хорошо как и ты, или обрекать их на засухи, голод, беженцев, квоты на морепродукты и тп неприятных последствий тесного соседства.

Как-то так набросил, дискасс.

Недавно слышал у одного умного мужикаря, что эволюция идет не видами, а целыми экосистемами/таксонами. Так что способность вовремя умереть - как часть параметров видимо.

Бессмертные родители это то же, что два дополнительных детеныша за всю жизнь. В мире, где одна пара может вырастить тысячи потомков, это не очень большой фактор. Для предупреждения расплода есть природные механизмы.

тогда сильно расплодятся и кончится еда.

и они все сдохнут. Не факт, что эволюция не прошла этот путь сколько-то там раз, пока не выработался механизм смены поколений

Я все же не убежден, что смерть это существенное эволюционное преимущество. Скорей создавать сложные и бессмертные организмы слишком затратно, то рак попрет, то еще что-то. А ты уже и так размножался. А ген, который снижает среднюю длительность жизни, увеличивает размер хвоста, от которого самки просто дуреют (это я в тренде типа).

Я это говорил в контексте того, что ей нет необходимости никого убивать. В том числе и домашнего хомяка.

На практике твой случай доказывает, что ИИ может точно так же убить человека по каким-то своим убеждениям.

Даже небольшая вероятность того, что ИИ может быть опасен для человечества, это уже очень большая проблема. Об этом и речь. Сценарии, где ИИ опасен, представить несложно.

Но ИИ позиционируется как крайне логичный и умный.

Где? Кем?

Сценарии, где ИИ опасен, представить несложно.

Давай например два, но не тех где людей совсем нет или они идиоты.

очень большая проблема

Не думаю. Есть очень много вещей, которые опасны для человечества, но ими продолжают пользоваться, соблюдая при этом осторожность. Я полагаю, что с ИИ тоже следует обращаться должным образом, тогда и проблемы не будет.

Бессмертные родители это то же, что два дополнительных детеныша за всю жизнь.

Это было бы так, если бы они жили еще столько, сколько детеныши. Но они будут жить намного дольше, и детеныши тоже.

Я все же не убежден, что смерть это существенное эволюционное преимущество. Скорей создавать сложные и бессмертные организмы слишком затратно

Вы думаете о результате, а не процессе. Для процесса нужна жосткая конкуренция и быстрая смена поколений) Сильные выживают, слабые погибают)

Даже небольшая вероятность того, что ИИ может быть опасен для человечества, это уже очень большая проблема.

а вы полагаете, что у человечества есть какой-то шанс выжить, не принимая ответственных решений? Смотрите, пара примеров.

Нам нужна ядерная энергия. Чего бы там не фантазировали себе девочки-аутистки, без ядерной энергетики нам транда. Однако, это неминуемо означает серьезные угрозы как в виде экологических катастроф, так и в виде ядерного оружия.

Нам нужна генная инженерия. Человечество больше не может позволить себе естественный отбор. Люди хотят жить и плодиться, а это означает, что генетические косяки подпёртые костылями в виде, например, инсулина, будут неминуемо захватывать геном. Выход есть - генная модификация человека. Есть ли связанные с этим риски? Да конечно, но без этого нам транда.

Список кабздецов можно долго продолжать. Ну, добавьте к нему еще ИИ (самый маловероятный). Ну и что?

Это было бы так, если бы они жили еще столько, сколько детеныши. Но они будут жить намного дольше, и детеныши тоже.

Да нет никакой разницы. Кролики захватят весь континент за несколько десятков лет, если их никто не будет кушать и отсутствие бессмертия им не помешает.

Вы думаете о результате, а не процессе. Для процесса нужна жосткая конкуренция и быстрая смена поколений) Сильные выживают, слабые погибают)

Когда говорят про бессмертие, обычно имеют в виду отсутствие механизма старения. Погибать это не мешает. Единственное, чем «плохо» для эволюции бессмертие - старая особь может компенсировать свои эволюционные недостатки опытом. Типа родился жук с пятнами, напоминающими травинки, который вроде должен заместить старых жуков, т.к. его будут меньше замечать птицы, но бессмертные жуки научились прятаться и без пятен и таким образом мешают эволюции. Но мне кажется, это мелочи.

Ну по всем пунктам не так. Ядерная энергия нам не нужна, жили без неё миллион лет и ещё проживём. С ней лучше, но и без неё жить можно. А если сравнивать мир без ядерной энергии и без ядерного оружия, с текущим, то кажется, что первый как-то постабильней выглядит, даже несмотря на мировые войны. С генной инженерией ровно то же самое. Ничего критичного в том, что в геноме что-то накапливается, нет. Человечество от этого не вымрет. И с ИИ то же самое.

Как раз таки всё с точностью до наоборот. Человечество всё чаще играется с огнём, не имея огнетушителя и даже не имея второго дома. Если бы я был абстрактным императором человечества, я бы заморозил развитие всех подобных отраслей, пока нет чёткого плана по нейтрализации опасностей или хотя бы снижения их последствий. Понятно, что всё идёт как идёт, боюсь только, что к разрешению парадокса Ферми всё идёт…