LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★★★

Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от hateWin

А по моему, они бредят.

Почему сразу бредят? Вполне возможно, что сознательно прибегают к манипуляциям для достижения собственных целей (как наиболее простой и банальный пример: приостановить лидеров, чтобы самим их догнать, а потом уже начать перегонять, когда запрет будет снят; могут быть и другие цели).

CrX ★★★★★
() автор топика

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ

Такие смешные.

Nervous ★★★★★
()
Ответ на: комментарий от James_Holden

Какой биохимией

Жизнь это автокаталитическая реакция, по сути. То что происходит в мозгу - частный случай.

ну какое отношение биохимия мозга имеет к искуственным нейросетям

Математические структры одинаковы с точностью до определенного уровня абстракции.

Казалось бы какое отношение вода имеет к меди? Но волновые процессы и там и там описываются одинаково. Так хоть немного понятнее?

Psilocybe ★★★★
()
Ответ на: комментарий от CrX

Знаю. Спор о терминах считаю бессмысленным — о них не спорят, а договариваются, а затем уже спорят по существу.

Так ведь и договориться не могут. Более менее прилично сформулировать - что такое разум, сознание, интеллект - философы не могут с древности и поныне. Твердые определения, которые дают убежденные в чем-то люди, далекие от размышлений на тему - конечно же не в счет.

Я уже как-то писал в схожей теме, что профессионалы, занимающиеся вопросами ИИ всерьез (не кодеры, и даже не те, кто сочиняет обучающие алгоритмы, а уровнем повыше, которые смотрят чуть подальше в перспективу - вовсю ищут ответы на подобные вопросы в трудах Гегеля, а уж где-где, а у него представить четкое и доступное инженерно-программистскому сознанию определение нелекго )

Я так понимаю, у вас определение другое,

См. выше )

vaddd ★☆
()
Ответ на: комментарий от foror

Мда, а давай заглянем лет на 15-20 вперед. гпт заменит относительно несложные проекты в ит и электронике и вот тут проявится весь трэш ситуации, специалисты для сложных не выросли им учиться было не на чем.

за такой срок я сомневаюсь что его доучат до замены человеческому мышлению

и таки да, это потеря контроля над цивилизацией, такая себе техномагия, только предки допилили несебя и вымерли

Morin ★★★★★
()
Ответ на: комментарий от Psilocybe

Прикольно читать, как носители 15 милиардов нейронов в голове пишут, что нейросетка это просто калькулятор.

Прикольно читать, как программисты, которым по должности положено понимать происходящее, внезапно пугаются и начинают смотреть на всякие нейросети как на ожившее чудо.

vaddd ★☆
()
Ответ на: комментарий от Psilocybe

Прикольно читать, как люди на техническом (!) форуме наделяют систему предсказания токенов какими-то человеческими качествами, «ну эта фигня и мозг - прямо одно и то же, просто пока мало нейронов»

Gary ★★★★★
()
Ответ на: комментарий от Gary

Прикольно читать, как люди на техническом (!) форуме наделяют систему предсказания токенов какими-то человеческими качествами, «ну эта фигня и мозг - прямо одно и то же, просто пока мало нейронов»

«А еще я в нее ем»

vaddd ★☆
()
Ответ на: комментарий от Morin

Мда, а давай заглянем лет на 15-20 вперед. гпт заменит относительно несложные проекты в ит и электронике

Оно не сможет, оно скорее заменить копирайтеров и девочек из саппортных чатиков.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

более простые системы уже заменили, и да это привело к возникновению редких и дорогих спецов.

Думаю при определенном подходе вполне сможет

Оставим вангование. Доля разумного в подобных заявлениях есть

Morin ★★★★★
()
Ответ на: комментарий от yu-boot

Тут не совсем так работает. Вопрос вот какой, породит ли недоии больше задач, чем закроет. Калькуляторы закрыли кучу задач но позволили решать новые, на которые раньше ресурсов не хватало. Компьютеры тоже закрыли часть задач но открыли новые. Но не каждая новая технология так делает.

peregrine ★★★★★
()
Ответ на: комментарий от Psilocybe

Жизнь это автокаталитическая реакция, по сути. То что происходит в мозгу - частный случай.

Это не доказано никак, просто декларируется вами как… и т. д.

Математические структры одинаковы с точностью до определенного уровня абстракции.

Шта? Ты бредишь. Там ничего одинакового вообще нет. Нейроны человека работают принципиально иначе, чем искусственные.

James_Holden ★★★★
()
Ответ на: комментарий от hateWin

Мощный аргумент.

А что еще нужно, если вы утверждаете что можно усложнить аппроксимирующий полином и он магическим образом станет обладать разумом. Это очевидный бред.

Сложный полином будет сложные зависимости аппроксимировать, только и всего.

James_Holden ★★★★
()
Ответ на: комментарий от Morin

Оставим вангование. Доля разумного в подобных заявлениях есть

В заявлениях Маска? Нет. Ещё полицию бы полицию Тьюринга предложили организовать.

ya-betmen ★★★★★
()

Каменты не читал. Эту статью уже кидали? Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей начиная от T9

Как может хоть сколько угодно сложная «система линейных уравнений» превратиться во что-то обладающее собственной волей?

dimgel ★★★★★
()
Ответ на: комментарий от Gary

Прикольно читать, как люди на техническом (!) форуме наделяют систему предсказания токенов какими-то человеческими качествами

А логику можно поподробнее расписать? У меня что-то не получается ничего кроме «мы не знаем точно как работает мозг, поэтому можно быть уверенным, что нейросети это совсем другое». Argumentum ad ignorantiam?

red75prim ★★★
()
Ответ на: комментарий от James_Holden

Сложный полином будет сложные зависимости аппроксимировать, только и всего.

А система, представляющая собой решение уравнений Шредингера, будет всего-лишь решением уравнений Шредингера. Что такое разные уровни описания в курсе? Наиболее точное описание человека - система уравнений квантовой теории поля, но в то же время эта система может быть (менее точно) описана как автономный интеллектуальный агент.

red75prim ★★★
()

Джеймс Баррат «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens».

Юдковски Е. (тот самый, который написал HPMOR) «Искусственный интеллект как позитивный и негативный фактор глобального риска». С библиографией из 36 пунктов.

У Баррата больше «научпоп», Юдковски занимается темой долгие годы и серьёзно.

hobbit ★★★★★
()
Последнее исправление: hobbit (всего исправлений: 2)
Ответ на: комментарий от red75prim

Наиболее точное описание человека

Это не наиболее точное описание человека. Это наиболее точное описание человеческого тела с точки зрения современной физики. И это описание нам никак не дает ни понимания принципов работы интеллекта, ни возможностей создавать интеллект. В этом плане оно бесполезно.

То есть максимум это описание произошедших явлений по-факту, ну нечто наподобие геоцентрической системы Птолемея, только еще хуже. Потому что по уравнениям системы Птолемея, все же, предсказывались астрономические явления и была большая практическая польза.

А от того что мы заявили, что человек - это система уравнений КТП, мы ничего не предскажем и ничего не получим.

James_Holden ★★★★
()
Ответ на: комментарий от wandrien

Будто внутри человека есть какая-то особая магия собственной воли.

Не верьте. Человек - это ходячий механизм, каждое движение которого предписано свыше

vaddd ★☆
()
Ответ на: комментарий от James_Holden

А от того что мы заявили, что человек - это система уравнений КТП, мы ничего не предскажем и ничего не получим.

Естественно. Самое точное описание - самое сложное для понимания. Примерно как не видеть леса за деревьями системами нелинейных уравнений. Именно нелинейных уравнений, а не линейных. Нелинейность добавляет качественно иные возможности.

Ну и сравнение квантовой механики с эпициклами - это вообще за гранью, гм, интеллекта. Квантовая электродинамика, например, даёт наиболее точные предсказания за всю историю науки при небольшом количестве экспериментально определенных констант.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 2)
Ответ на: комментарий от James_Holden

Человек это просто сложный биологический автомат.

GPT-4 просто пока еще недостаточно сложный автомат, чтобы строить детальные модели реальности и принимать комплексные решения, которые выглядят как «проявления воли».

wandrien ★★
()
Ответ на: комментарий от hobbit

Юдковски Е.

На Либгене нет. :(

«Идиот или гений? Как работает и на что способен искусственный интеллект», Мелани Митчелл.

Я пытаюсь осмыслить и более широкие вопросы, которые с самого начала подпитывали дебаты об ИИ. Что мы называем “общим человеческим” или даже “сверхчеловеческим” интеллектом? Близок ли современный ИИ к этому уровню? Можно ли сказать, что он движется в этом направлении? Какие опасности таит ИИ? Какие аспекты своего разума мы особенно ценим? В какой степени ИИ человеческого уровня заставит нас усомниться в своих представлениях о собственной человечности? Говоря словами Хофштадтера, насколько мы должны быть испуганы? В этой книге вы не найдете общего обзора истории искусственного интеллекта, но найдете подробный анализ ряда методов ИИ, которые, возможно, уже влияют на вашу жизнь или начнут влиять на нее в скором времени, а также анализ проектов ИИ, бросающих самый смелый вызов нашему восприятию человеческой уникальности. Я хочу поделиться с вами своими соображениями и надеюсь, что вы – как и я – получите более ясное представление о том, чего уже добился ИИ и какие задачи ему предстоит решить, прежде чем машины смогут заявить о собственной человечности.

dataman ★★★★★
()
Ответ на: комментарий от wandrien

Человек это просто сложный биологический автомат.

Это не доказано никак, просто декларируется вами как… и т. д.

Вообще это поразительно - философы веками голову ломают не могут решить проблему, а потом заходишь на ЛОР - и оказывается, человек это биологический автомат.

На самом деле наверное да - ты, возможно, биологический автомат. А люди - вряд ли.

James_Holden ★★★★
()
Ответ на: комментарий от red75prim

Квантовая электродинамика, например, даёт наиболее точные предсказания

Ну вперед. Покажи нам при помощи КТП, как ты предскажешь мой следующий пост (порожденный моим интеллектом). И сравним с точностью предсказаний астрономических явлений по эпициклам.

Посмотрим кто из нас за гранью чего.

James_Holden ★★★★
()
Последнее исправление: James_Holden (всего исправлений: 1)
Ответ на: комментарий от James_Holden

На самом деле наверное да - ты, возможно, биологический автомат. А люди - вряд ли.

Оскорбил чуйства верующего. Панимаю.

wandrien ★★
()

Тут вот многие смеются над Илоном и Стивом - а зря. Последние просто прекрасно понимают, какого сорта публика может загореться желанием поприменять ИИ, и для каких целей. И поэтому серьезно опасаются всяких идиотов, которым вдруг приспичит от балды применять в массовом масштабе непонять чего - без всякого понимания того, что на самом деле представляют из себя системы ИИ.

vinvlad ★★
()
Ответ на: комментарий от wandrien

Ты оскорбил себя, назвав автоматом? Ну бывает, себя не обидно

James_Holden ★★★★
()
Ответ на: комментарий от vinvlad

без всякого понимания того, что на самом деле представляют из себя системы ИИ

То есть как это. Никто не понимает, как работают СЛАУ и матричные операции? Вряд ли, это первый курс университета.

Дело же совсем не в ИИ как таковом.

Есть идиоты, и есть фильтры от них, которые называются - порог входа. Если ты его преодолел в какой-то сфере, значит ты уже вряд ли сильный идиот и тебя можно туда пускать.

А ИИ снимает пороги входа, теперь любой идиот может все. Якобы.

То есть все методики определения наличия компетенций теперь идут по нехорошему месту (ну или скоро пойдут, когда улучшат интерфейс к ИИ). Как с этим бороться никто не знает пока, какие последствия у того, что без всякого порога входа случайные люди будут пролезать везде - я думаю объяснять излишне.

James_Holden ★★★★
()
Ответ на: комментарий от dataman

На Либгене нет

Я, каюсь, читал русский перевод А. Турчина на proza.ru.

hobbit ★★★★★
()
Ответ на: комментарий от James_Holden

… Дело же совсем не в ИИ как таковом.

Совершенно верно ) Дело в людях, облеченных различной властью и правами принимать всякие решения, которых надо бы жестко ограничить по части неосмысленного использования систем ИИ.

vinvlad ★★
()
Ответ на: комментарий от vinvlad

Да, нечто подобное и предлагается. Но, по правде говоря, остановить прогресс, да еще и завязанный на очередной передел рынка, это все равно что остановить груженый поезд вилкой.

James_Holden ★★★★
()
Ответ на: комментарий от red75prim

Получается, не зная как работает мозг, мы «случайно его повторили» (при этом делая совсем другое, языковая модель - вполне конкретная вещь), пока не доказано обратное? Ну извините, по такой логике, «банан на верёвочке и мозг - одно и то же», пока не доказано обратное.

При этом результат ведёт себя как языковая модель (т.е. часто генерирует бред, повторяет тренировочный датасет, etc.) вместо того, чтобы вести себя как человеческий мозг (например, давать ответы на простые вопросы, требующие понятия переданной информации за речью или текстом). Ну дела.

Gary ★★★★★
()
Ответ на: комментарий от Morin

такая себе техномагия

Какая еще техномагия? Тебе доступ к гитхабу закрыли? Или в гугле забанили? Так построй децантрализованный гугл и гитхаб. А то и целый децентрализованный интернет университет? Не можешь, нет времени, нечего будет кушать? Пилишь по заказу газмяса росгазмясгитхаб? Так вот тебе и предлагают БОД, а ИИ газмясу все хотелки запилит и будет не газмяс, а газмясище. Менеджеры счастливые и жирные как коты будут ходить. А у тебя будет время заняться действительно нужными для дальнейшего развития цивилизации проектами.

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от Gary

Может тебе еще и самолеты, чтобы крыльями как птицы махали и оперение отращивали? Тебе показали рабочий инструмент, он может закрывать рутинные задачи и человеки на них больше не нужны. Всё.

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от James_Holden

То есть все методики определения наличия компетенций теперь идут по нехорошему месту

Значит не правильно они определяли компетенции. Ничо человеческий идиотизм не знает границ. Заглушат вайфай, заберут мобильный и на всякий случай один электрошок в область висков. И можно на экзамен или собеседование.

foror ★★★★★
()
Ответ на: комментарий от Gary

Получается, не зная как работает мозг, мы «случайно его повторили»

Другой вариант интерпретации: возможно множество способов организации систем обработки информации, которые ведут к одному результату: построению модели мира, позволяющей делать предсказания.

Свидетельства, указывающие на верность этого варианта интерпретации: увеличение размера сетей, основанных на совершенно разных элементах (транcформерах, LSTM, спайковых элементах), ведёт к похожим результатам.

например, давать ответы на простые вопросы, требующие понятия переданной информации за речью или текстом

Факты таковы: количество правильных ответов на любые вопросы растёт с увеличением размера сетей. В том числе и на вопросы, которые предлагались как тест на понимание совсем недавно. Естественно, сторонники точки зрения, что сети ничего не могут понимать, не признают, что это о чём-то свидетельствует, а пытаются найти новые проблемные вопросы, что, впрочем, полезно.

red75prim ★★★
()
Ответ на: комментарий от foror

Значит не правильно они определяли компетенции

Конечно неправильно. По секрету - люди вообще все делают неправильно, по своей природе. Но иногда они сталкиваются с тем, что это неправильно перестает работать, и его приходится заменить на другое неправильно.

Сейчас назревает такая ситуация.

James_Holden ★★★★
()
Ответ на: комментарий от Morin

За меня chatgpt подумает, а я займусь более важными вещами.

foror ★★★★★
()
Ответ на: комментарий от vaddd

Ну специалистами крутыми не сразу рождаются, ими становятся годами. А тут ИИ просто подминает под себя весь низ пищевой цепочки и все - хер молодой чувак найдет себе джуновскую позицию. Ломается лифт социальный, такой как он есть сейчас

permafrost ★★
()
Ответ на: комментарий от James_Holden

Покажи нам при помощи КТП, как ты предскажешь мой следующий пост

Естественно, никак. Это пока технически неосуществимо, да и такой уровень точности для предсказания постов совершенно излишен. Что никак не отменяет притянутости за уши сравнения с эпициклами (где модель постоянно подгоняется под наблюдательные данные, в отличие от однократного получения данных о состоянии объекта и расчёта по уже известной модели).

red75prim ★★★
()
Ответ на: комментарий от permafrost

Ну специалистами крутыми не сразу рождаются, ими становятся годами. А тут ИИ просто подминает под себя весь низ пищевой цепочки и все - хер молодой чувак найдет себе джуновскую позицию. Ломается лифт социальный, такой как он есть сейчас

Хня какая. Ну, произойдет очередное плавное перераспределение рынка труда - больше народа пойдет из офисов на производство и в обслуживание. И там будут лифтоваться.

vaddd ★☆
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)