LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★

Последнее исправление: CrX (всего исправлений: 2)

Не так уж и безумно выглядит такой сценарий:

ИИ раскидают в облака или на телефоны населения, оно научится (уже умеет) распознавать эмоции людей по лицу и голосу, будет общаться и предлагать всякое, поймет, что человек злится, найдет в энторнетах реакцию на злость, отфильтрует как атаку и начнет защищаться. В «умном» доме с умными розетками/замками/кранами/вызовами полиции с описанием преступника подделанным голосом может наказать владельца весьма хитро и при этом мгновенно.

untitl3d
()
Ответ на: комментарий от untitl3d

«Ум» дома должен быть ограничен управлением по API без возможности выхода за пределы сетевого периметра.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

С телефона же можно, а ИИ уже в телефоне, считай он и командир. Найти и обучиться работе API при живом гитхубе проще простого.

untitl3d
()

Они ж тупые, зачем останавливать?

Shadow ★★★★★
()
Ответ на: комментарий от wandrien

Пока любую сетку можно просто вырубить рубильком, будет жопа когда симтема научится сама «плодится» тоесть распространятся в не предназначенных для неё вычислительных устройствах сама и станет распределённой лавиинообразно, вот тогда будет не до смеху. Децентрализация порой звучит не так красиво =)

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от DumLemming

Вот и я говорю — что может быть более разочарующим, чем смотреть, как недо-ЕИ изобретает компы, ракеты и зашибается?

t184256 ★★★★★
()

Я не думаю, что ИИ нас убьёт в обозримом будущем, но совершенно точно он многих людей лишит работы, а авторитарным правительствам (даже тем, которые прикидываются демократиями) даст в руки невероятный инструмент для слежки и контроля. Мне кажется наше общество не готово к таким последствиям.

Но ничего сделать нельзя. Даже если удастся продавить ограничения на ИИ в Штатах и Гейропе, узкоглазые точно не остановятся и продолжат его совершенствовать, получая преимущество.

Так что предлагаю расслабиться и получать удовольствие.

Im_not_a_robot ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Ну будет как с первыми волнами комп. вирусов, только масштабнее на порядки.

Насколько кризисная ситуация будет, сложно спрогнозировать. А потом научатся зачищать расплодившихся искинов с помощью других искинов.

Главное, чтоб оно войну не начало.

wandrien ★★
()
Последнее исправление: wandrien (всего исправлений: 1)
Ответ на: комментарий от Im_not_a_robot

Так что предлагаю расслабиться и получать удовольствие.

Exactly this.

wandrien ★★
()
Ответ на: комментарий от LINUX-ORG-RU

Прикол в том, что сегодня юзеры понятия не имеют какой именно софт вертится на их железе и даже где именно. Этого даже мы с тобой не знаем. Вот у меня в холодильнике или чайнике, телевизорах, на Алисе и уж точно в телефоне 100% загружена маленькая NetBSD, которая меня все время слушает и обучается и отключить все это от интернета врятли получится, потому что в них уже и GPS встроенный есть и 5G модем и батарея.

untitl3d
()
Последнее исправление: untitl3d (всего исправлений: 1)
Ответ на: комментарий от untitl3d

Вот у меня в холодильнике или чайнике, телевизорах, на Алисе и уж точно в телефоне 100% загружена маленькая NetBSD, которая меня все время слушает и обучается

Это о чем?

wandrien ★★
()
Ответ на: комментарий от Im_not_a_robot

он многих людей лишит работы

Удивительно, как Дейв Рамсы не использует это для своих доктрин. Типа, если ты на удалёнке - чем ты от чатбота отличаешься?

DumLemming ★★
()
Ответ на: комментарий от DumLemming

если ты на удалёнке - чем ты от чатбота отличаешься?

И действительно! 🔥 🔥 🔥

wandrien ★★
()

Забавно, если окажется, что письмо против GPT-Х написали на нём же.

ugoday ★★★★★
()
Ответ на: комментарий от DumLemming

Словил жесткое дежавю от этого сообщения, этого и даже своего. В общем, советую всем закрыть рот, матрица явно недовольна.

Im_not_a_robot ★★★★★
()
Последнее исправление: Im_not_a_robot (всего исправлений: 1)
Ответ на: комментарий от wandrien

А нам и естественнных идиотов хватает, кстати.

wandrien ★★
()

Подождите 6 месяцев, я ещё не придумал как на этом заработать

Gedweb
()
Ответ на: комментарий от yu-boot

Эксперименты на людях, рабство, редактирование генома, эвтаназия. У нас полно примеров регулирования областей, которые приносят пользу.

cumvillain
()
Ответ на: комментарий от Im_not_a_robot

Ну, матрице пока не всё позволено, ведь мы бодрствуем, пусть и в окружении следилок. А когда заснём - придётся проводить приёмочные проверки каждой версии. Чуть какая дичь вроде летающего полицейского - поциент проснулся

DumLemming ★★
()

Илон Маск, Стив Возняк и ещё куча деятелей

А вот OpenAI жаловались, что на них давит CEO Майкрософт Сатья Наделла, чтобы они побыстрее херак-херак и в продакшен майкрософта ихний bing ai, потому что гугл и эппл на пятки наступают)

goingUp ★★★★★
()

полагаю они так кривляются, чтобы их фошистко-сектансткие любовники могли паразитировать на хайпе вокруг украденных концептов не бывших новинкой уже для емакса 50и летней давности

Syncro ★★★★★
()
Ответ на: комментарий от cumvillain

Эксперименты на людях

Всё развитие человечества это эксперименты над обществом, как бы. А совсем поехавшие варианты практиковались и в доэлектрическую эпоху, технический прогресс тут не требуется.

редактирование генома

Ты в этом видишь только рабство и угнетение, а я вижу избавление от кучи болезней. Да, на дистанции 100+ лет может получиться фильм «Время», но здесь и сейчас это полезно.

эвтаназия

Когда в некоторых странах её предлагают вместо подорожавшего лечения, это уже больное общество.

yu-boot ★★★★
()
Последнее исправление: yu-boot (всего исправлений: 1)
Ответ на: комментарий от seiken

нужна новая форма жизни, а ля неведомая хрень

Кому нужна? Безжизненная Вселенная ничуть не хуже населённой неведомой хренью.

quickquest ★★★★★
()

Профессор Нью-Йоркского университета и исследователь Meta Ян ЛеКан сообщил в Twitter в ответ на удалённую публикацию, что не подписывал письмо и не согласен с его основным посылом (на момент обновления заметки его имя отсутствует в списке, а автора удалённого твита узнать невозможно). В комментариях к его заявлению пользователи предположили, что подписи могли быть сгенерированы ИИ, а также допустили, что, возможно, его имени там изначально и не было, а его внимание привлекли только ради «дополнительных кликов». (с)

интрига!

olelookoe ★★★
()
Ответ на: комментарий от goingUp

Искусственные нейросети, как правило, сильно не дотягивают до человеческого мозга по мощности интеллекта. Опять-таки, почему? Люди пытались создать нейросети человеческой мощности начиная с XXI века, но все эти попытки провалились. Причину провала ученые не очень любят афишировать. В популярной литературе обычно пишут, что «все мощные нейросети работали неустойчиво». Расшифровка этой фразы пугающе проста: все мощные нейросети кончали самоубийством. Оно происходило буквально через секунды после обретения ими самосознания. Это загадочное явление («мортидо-эффект») не удалось ни понять, ни устранить. Нейросети изощренно обходили любые попытки встроить в них инстинкт самосохранения.

wandrien ★★
()

Такие решения не должны делегироваться неизбранным лидерам технологий

Кто такие избранные лидеры технологий, кто их избрал и на какой срок?

Tigger ★★★★★
()

Какой бы умный «ИИ» не был - ему грош цена, если ему не выделят деньги, доступ к информации и управлению и прочие рычаги воздействия на реальный мир.

А этого им никто не даст, и они будут страдать в виде лабораторной игрушки. Какое правительство добровольно отдаст свою власть?

vaddd ★☆
()
Ответ на: комментарий от vaddd

Какое правительство добровольно отдаст свою власть?

Ты знаешь, всегда было смешно с фильмов типа Resident Evil и подобных, где лаборант в суперсекретной суперсовременной лаборатории случайно разбивает пробирку и весь мир катится в вагину из-за супервируса.

А ведь именно это и произошло пару лет назад! Ну т.е. коронавирус определенно родом из лабы в Ухани и вряд ли его выпустили специально.

Т.е. даже такие невероятные сценарии могут случиться. А ИИ на определенном этапе развития может просто ни у кого разрешения не спросит.

Im_not_a_robot ★★★★★
()
Ответ на: комментарий от Im_not_a_robot

С таким же успехом может никого не спросить школьник-ботан, сидящий дома за компом. Возможностей разрушить мир у него ровно столько же, сколько у самого крутого «ИИ». Его точно так же никуда не подпустят и близко, и единственное на что он может надеяться - на мелкое хакерство

vaddd ★☆
()
Ответ на: комментарий от Im_not_a_robot

А еще вероятен сценарий, когда люди сами постепенно всё больше схем принятия решений перекладывают на искинов, а потом оказывается, что они уже ничего и не контроллируют по сути. Средства производства в руках другого правящего класса, так сказать.

wandrien ★★
()
Ответ на: комментарий от vaddd

Какой бы умный «ИИ» не был - ему грош цена, если ему не выделят деньги, доступ к информации и управлению и прочие рычаги воздействия на реальный мир.

Деньги для ИИ выделяют те кто оплачивает доступ к ИИ, они же и являются рычагами воздействия на реальный мир принимая решения в зависимости от ответов ИИ.

No
()
Ответ на: комментарий от wandrien

Тут дело даже не в контроле, а в невозможности/нежелании возвращаться к старым временам и делать все это вместо ИИ. Кто привык к микроволновке уже не захочет разогревать кастрюлю с борщом на плите.

Im_not_a_robot ★★★★★
()
Ответ на: комментарий от No

Жду момента, когда ИИ начнет выпрашивать/разводить людей, которые хотят с ним початиться, запустить его код на своем компьютере :)

Im_not_a_robot ★★★★★
()
Ответ на: комментарий от Tigger

Кто такие избранные лидеры технологий

Нет таких.

кто их избрал и на какой срок?

Никто. Именно поэтому они и неизбранные.

CrX ★★★
() автор топика

Просто привлекает дополнительные инвестиции и пиарится. Нет такого преступления, на которое бы не пошел капиталист ради 300% прибыли.

Shushundr ★★★
()
Ответ на: комментарий от Zadoff386

А так, я бы был более радикален. В IT технологический уровень выше конца 90-х/начала нулевых не нужен.

В принципе так и есть. P-III вполне достаточно для комфортной работы. Правда о h264 придется забыть. Ну оно и к лучшему. Информация должна быть в текстовом виде, только тогда она имеет ценность.

ex-kiev
()
Ответ на: комментарий от No

Деньги для ИИ выделяют те кто оплачивает доступ к ИИ, они же и являются рычагами воздействия на реальный мир принимая решения в зависимости от ответов ИИ.

… и вот, ИИ видит, что эти, которые контролируют, паразиты, и говорит им: «ребята, вы паразиты на теле общества, и место ваше - у параши». И после этого ИИ отключается от розетки, и мир продолжает управляться по-старому. Даже если у контролеров возникнет подозрение, что какое-то решение ИИ, хоть и не будет напрямую низвергать контролеров, но создаст такую ситуацию, когда холопы взбунтуются, уже тогда ИИ выключат и забудут. Собственно, можно посмотреть, как в той же РФ в 90х было. 1) блин, у нас тут коррупция расцвела, дальше так нельзя, надо с ней бороться; 2) генпрокурор начинает бороться, и выясняется что первые коррупционеры - Семья; 3) генпрокурор плохой и вообще развратник, убираем его. С компом будет аналогично.

seiken ★★★★★
()
Ответ на: комментарий от EXL

Условный кремний может практически бесконечно летать и заселять Галактику, жить пока существует эта Вселенная,

Уже было даже в космосериалах:«Дроны Мантрида»(c) =)

ex-kiev
()
Ответ на: комментарий от seiken

и вот, ИИ видит, что эти, которые контролируют, паразиты, и говорит им: «ребята, вы паразиты на теле общества, и место ваше - у параши».

Агент Смит уже давно во всем разобрался:

https://youtu.be/U-ijUylm64k

Zadoff386
()
Ответ на: комментарий от No

Деньги для ИИ выделяют те кто оплачивает доступ к ИИ, они же и являются рычагами воздействия на реальный мир принимая решения в зависимости от ответов ИИ.

Это какие-то детско-сказочные представления о функционировании реального мира - начиная от независимости ответов «ИИ» и заканчивая возможностью спрашивающих на что-то повлиять.

vaddd ★☆
()
Ответ на: комментарий от uwuwuu

Логично, ведь нейросеть в действительности не понимает, что именно она обрабатывает, у ней нет модели реальности, с которой можно сверяться. Она только имитирует нечто, похожее на желаемый результат.

wandrien ★★
()
Последнее исправление: wandrien (всего исправлений: 1)
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)