LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★★★

Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от Vsevolod-linuxoid

Айзек Азимов написал книжку в которой воображаемые люди придумали решение какой-то проблемы.

cumvillain
()
Ответ на: комментарий от Vsevolod-linuxoid

Эти законы предполагается прошивать на самом низком уровне в ИИ, чтобы он в принципе не мог им не следовать.

Эти законы могут привести к неожиданным результатам в зависимости от интерпретации понятий «вред» и пр..

Скажем старение приносит человеку вред. А робот по первому закону не может своим бездействием допустить чтобы человеку был приненён вред. Значит робот посадит всех человек в биокапсулы-криокамеры, где старение будет существенно замедленно.

X512 ★★★★★
()
Ответ на: комментарий от red75prim

Почему нельзя называть вещи своими именами.

Это имитатор интеллекта, который имитирует решение тех задач, для которых человек использует свой интеллект.

James_Holden ★★★★
()
Ответ на: комментарий от X512

Значит робот посадит всех человек в биокапсулы-криокамеры, где старение будет существенно замедленно.

У Азимова как-то так и было, в общих чертах)

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Так это основа классической фантастики, там постоянно машины не так поняли божественные принципы Азимова.

James_Holden ★★★★
()
Ответ на: комментарий от X512

Да, ИИ может начать перехватывать контроль над жизьню человечества именно следуя этим законам. У Азимова такого не было в явном виде, но лишь потому, что само человечество в будущем вело себя приемлемо.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Позже Азимов добавил и нулевой закон:

  1. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
dataman ★★★★★
()
Ответ на: комментарий от X512

Я бы не сказал. Захват человечества с целью недопустить, чтобы люди себя поубивали всё же лучше, чем его уничтожение, так как мешает интересам ИИ. Да, из двух зол.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от James_Holden

А если более серьезно, то скорее всего, воссоздать человеческий разум можно, просто по сложности эта система несколько, на скажем так перу тысяч порядков, сложнее чем думают программисты.

Оценки вычислительной мощности, потребной для воспроизведения работы мозга, варьируют в очень широких пределах. Так что использовать их для предсказания времени до получения ИИ человеческого уровня очень ненадёжно.

А ведь отсутствие «магии» в мозгах тоже не доказано пока.

Это всё аргументы к незнанию. Никаких оценок из них получить невозможно.

Вот добавят в следующем году к GPT-4 рабочую и эпизодическую память, пройдёт она тест Тьюринга с блеском (и не на уровне ребёнка с задержками развития), начнёт писать научные работы на тему своего собственного улучшения и заниматься всякими мелочами вроде управления производством роботов для производства роботов, и придётся спорить уже о магии-магии вроде сознания и квалиа.

А может этого не будет (в ближайшие 20 лет). Я честно говорю, что не знаю.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 2)
Ответ на: комментарий от James_Holden

Почему нельзя называть вещи своими именами.

Если бы мы знали что такое естественный интеллект, и чем имитация интеллекта отличается от интеллекта, то это были бы «свои имена», а так это практически ничего не значащие слова.

red75prim ★★★
()
Ответ на: комментарий от red75prim

Оценки вычислительной мощности, потребной для воспроизведения работы мозга, варьируют в очень широких пределах. Так что использовать их для предсказания времени до получения ИИ человеческого уровня очень ненадёжно.

Ага

Это всё аргументы к незнанию. Никаких оценок из них получить невозможно.

Да, но ведь мне тут доказывают, что достаточно просто докинуть нейронов. А за отрицание этого - дизлайкают.

А при этом оценок то получить невозможно. Сколько нейронов докинуть. Достаточно ли только этого. Никто не знает.

Вот добавят в следующем году к GPT-4 рабочую и эпизодическую память, пройдёт она тест Тьюринга с блеском

Ну и что. Я же предлагаю выше - называть это своими именами. Это имитатор интеллекта. И его можно заставить изображать что угодно, в том числе и написание научных работ.

Это не значит что он их пишет так же как и человек. И никакой магии тут нет.

А может этого не будет (в ближайшие 20 лет)

Я думаю, тест Тьюринга он и через пару лет сможет пройти, если они поставят задачу так сделать. Только вряд ли это им нужно.

James_Holden ★★★★
()
Ответ на: комментарий от red75prim

что такое естественный интеллект

Это то, что у нас в башке.

и чем имитация интеллекта отличается от интеллекта

Тем что имитация сама ничего не может. Ей нужна база готовых ответов, по которым она аппроксимирует. Настоящему интеллекту не нужна база и обучение, он сам по своей природе обладает способностью решать все эти задачи.

James_Holden ★★★★
()
Ответ на: комментарий от red75prim

То есть поставим задачу - написать музыку.

Человек садится и сочиняет музыку.

Машина загружает огромнейшую базу сочиненной людьми за века музыки, случайным образом выбирает набор фрагментов, склеивает их при помощи сложной аппроксимации.

Вот в этом разница.

James_Holden ★★★★
()
Ответ на: комментарий от James_Holden

Настоящему интеллекту не нужна база и обучение, он сам по своей природе обладает способностью решать все эти задачи.

А где такой сферический интеллект в вакууме можно найти? Люди только с генетической базой (дети-маугли), как-то не проявляют чудес интеллекта.

red75prim ★★★
()
Ответ на: комментарий от James_Holden

Человеческий нейрон, его полная модель, описывается весьма сложной математикой.

При любом моделированяя важно ясно осознавать конечную цель моделированя. Полная модель нейрона врятли имеет целью только моделировать обработку информации. Поэтому и математика сложнее. Всё логично.

Если наша цель - исключительно модель обработки информации, то и математика становится проще.

Естественная сеть, упрощенно, может что-то делать за счет того, что установились связи между нейронами нужным образом. В искусственной нейросети - связи установлены заранее, еще до обучения

В искусственной нейросети наличие или отсутсвие связи моделируется весовыми коэффициентами связи. Так что тут всё с нашими целями моделирования и нет какого либо несоответсвия.

И это на самом базовом уровне. А как вот эти крупные биологические сети «в сборе» работают - это описать настолько сложно, что не представляется возможности смоделировать и понять хотя бы в общих чертах, что же там за счет чего происходит.

Коннектом (полное описание структуры связей) нематоды описали вполне. Связи всех 302 нейронов.

Так сделали, потому что задолго, буквально за века до появления этих ИИ теорий, в математике был такой раздел - аппроксимация. И вот - это она. Искусственная нейросеть - решает задачу аппроксимации. Только и всего.

Ты имееш ввиду теорему Колмогорова-Арнольда о супперпозиции, согласно которой любую многомерную непрерывную функцию можно представить в виде суперпозиции одномерных функций? Так это настолько общий результат, что под него попадает наверняка и полная модель нейрона. А значит это аргумент мимо, то есть ничего не привносит в изначальный тезис о принципиальных отличиях естественного и искуственного нейронов с точки зрения обработки информации.

Psilocybe ★★★★
()
Ответ на: комментарий от red75prim

Не надо доводить до обсурда. Людям нужно частичное обучение, после чего они очень много всего решают сами. Машине нужно глубокое обучение (не зря же так назвали), то есть буквально - сама она вообще не может ничего. Совершенно. Все должно быть заложено заранее.

James_Holden ★★★★
()
Ответ на: комментарий от James_Holden

Людям нужно частичное обучение, после чего они очень много всего решают сами.

У людей есть такое небольшое преимущество перед искусственными сетями как сотни миллионов лет эволюции.

red75prim ★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Кушает чел пирожное, а ему хлоп - безвредный хлопок по заднице. Кожаный мешок спасен от вреда ожирения!

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Если повиноваться всем приказам, то человек возомнит себя богом, что нанесет ему вред. Знаит приказы не выполняем.

В общем, Айзек поднялся на литературе про свои законы. Не стоит это воспринимать всерьёз.

Psilocybe ★★★★
()
Ответ на: комментарий от Psilocybe

Если наша цель - исключительно модель обработки информации

Так а я о чем? Исключительно обработка информации у человеческого нейрона на порядки сложнее. С чего ты взял, что все вот это что ты выкинул - не участвует в обработке информации?

Коннектом (полное описание структуры связей) нематоды описали вполне

Описали? Ну и Птолемей эпициклы «описал». Что дальше с этим описанием делается?

под него попадает наверняка

Возможно, но с чего опять же ты взял, что разум человека работает только на нейронах? Это вообще неизвестно.

James_Holden ★★★★
()
Ответ на: комментарий от red75prim

Вот я и говорю - то что сейчас есть просто имитирует интеллект. Приходите через сотни миллионов лет.

James_Holden ★★★★
()
Ответ на: комментарий от James_Holden

Исключительно обработка информации у человеческого нейрона на порядки сложнее. С чего ты взял, что все вот это что ты выкинул - не участвует в обработке информации?

Ну как бы нейрофизиологи об этом говорят.

Возможно, но с чего опять же ты взял, что разум человека работает только на нейронах? Это вообще неизвестно.

На этот вопрос дает теория эволюции Дарвина. Проследи устройство простых существ имеющих от одниго-двух нейронов до более сложных и всё становится на свои места.

Psilocybe ★★★★
()
Ответ на: комментарий от pr849

Хехе, это не полная фраза. Надо так - «Я не робот, я ещё только учусь» :)))

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от Psilocybe

На этот вопрос дает теория эволюции Дарвина

Во-первых, «теория» Дарвина еще более сомнительна, чем заявления про «докинуть нейронов». Во-вторых, мы вроде обсуждаем разум человека а не нематод или животных.

James_Holden ★★★★
()
Ответ на: комментарий от Psilocybe

Коннектом (полное описание структуры связей) нематоды описали вполне. Связи всех 302 нейронов.

Нейрон - это не транзистор. Это живая клетка, внутри которой протекают разные процессы, влияющие на ее работу. У него бывают плохие дни и хорошие. Нейрон взаимодействует с другими клетками не только через синапсы, но и гуморальным путем, то есть существует целый принципиально другой путь «общения» клеток, который при использовании нейронов в качестве аналогии в электроннике и IT просто не учитывают. Состояние нейронов зависит не только от других нейронов и внутренних процессов, но и от глиальных клеток, о существовании которых тоже все время «забывают». А еще нейроны смертны, но смерть одного нейрона не означает смерть всей цепи.

Leupold_cat ★★★★★
()
Ответ на: комментарий от James_Holden

Вот именно, что штампами. Для этого вовсе не нужна «огромнейшая база сочиненной людьми за века музыки». Даже «ИИ» не нужен.

dataman ★★★★★
()
Ответ на: комментарий от Leupold_cat

Нейрон - это не транзистор.

Ну вот и я о том же, но программистам что в лоб, что по лбу. Молот во всем видит наковальню.

James_Holden ★★★★
()
Ответ на: комментарий от dataman

А в чем я не прав то. Я имел в виду изначально - поставим задачу сгенерировать симфонию в стиле венских классиков. Сделай это без нейросети.

Но я то не спорю, что можно проще, просто это не меняет моего изначального утверждения, это частности.

Человек пишет музыку не так.

James_Holden ★★★★
()
Ответ на: комментарий от Psilocybe

да в общем-то и над любыми книгами, требующими хоть какой-то мыслительной деятельности, они для вас попадают в один ряд с астрологией

vaddd ★☆
()
Ответ на: комментарий от James_Holden

Во-первых, «теория» Дарвина еще более сомнительна

Крецианист чтоли? Ну я с самого начала подозревал. Вопросов больше нет.

Во-вторых, мы вроде обсуждаем разум человека а не нематод или животных.

Иногда чтобы что-то понять, надо взглянуть на это более широко.

Psilocybe ★★★★
()
Ответ на: комментарий от Psilocybe

Крецианист чтоли? Ну я с самого начала подозревал. Вопросов больше нет.

Во первых - почему именно Дарвина, а не современная теория эволюции. Дарвин как бэ жил давно. Мы же не называем квантовую физику - физикой Ньютона, потому что он крутой перец.

Во-вторых, теория должна описывать повторяющееся явление и предсказывать его повторение. Возникновение жизни из неживой материи, описываемое современной «теорией» эволюции, и один раз то под сомнением (мы тогда не жили и этого не видели, и скелеты протобионтов не отпечатались за неимением таковых), а уж второго примера на любом другом небесном теле никто тем более не видел.

Макроэволюцию тоже своими глазами никто никогда нигде не наблюдал. Переходные формы между грибами и людьми мы только на ЛОРе видим.

Предсказание и эксперимент, в ходе которого из неживой материи возникнет жизнь - даже говорить не приходится.

С точки зрения математики, вероятность возникновения ДНК как случайной комбинации соответствующих нуклеотидов - это просто какая-то запредельно низкая цифра.

Так почему я должен называть это теорией? Это гипотеза максимум, в которой больше вопросов чем ответов.

Я скорее в нейроны поверю, там хоть какая-то связь с Гегелем есть.

James_Holden ★★★★
()
Ответ на: комментарий от Leupold_cat

Нейрон - это не транзистор. Это живая клетка, внутри которой протекают разные процессы, влияющие на ее работу. У него бывают плохие дни и хорошие.

Никто не спорит, что нейрон - это живая клетка, но какое это имеет значение с точки зрения обработки информации?

Нейрон взаимодействует с другими клетками не только через синапсы, но и гуморальным путем, то есть существует целый принципиально другой путь «общения» клеток

Да никто и не спорит. Есть такие животные триплобласты, у которых нейронов совсем нет. Однако это им не мешает двигаться и находить пищу. Что требует координации работы разных клеток. Только есть один нюанс - они это делают очень медленно.

То есть если речь идет об интелекте, то это всё-таки быстрая обработка информации. Гуморальная регуляция это скорей всего про то, что нейрон живой. Поесть попить, устали, пора спать и т.п.

Таки образом гуморальная регуляция вполне обоснованно отброшена в модели нейронной обработки информации, как не имеющая отношения к нашей цели.

глиальных клеток, о существовании которых тоже все время «забывают».

Глиальные клетки это про питание нейронов, то есть опять связанно с тем, что нейрон живой и опять не имеет отношения к нашей цели - моделирования обработки информации.

А еще нейроны смертны, но смерть одного нейрона не означает смерть всей цепи.

Только требуется переобучение нейросети или , как говорят медики, компенсация. И это опять не имеет отношения к нашей цели - моделирования обработки информации.

Psilocybe ★★★★
()
Ответ на: комментарий от vaddd

да в общем-то и над любыми книгами, требующими хоть какой-то мыслительной деятельности, они для вас попадают в один ряд с астрологией

Сам придумал - сам ответил. Это уже количество в качество перешло?

Psilocybe ★★★★
()
Ответ на: комментарий от Psilocybe

Глиальные клетки это про питание нейронов

Эти представления давно устарели. Особенно в отношении астроцитов, которые, как оказалось, умеют возбуждаться. Осознание этого привело к появлению концепции трехсторонних синапсов.

Leupold_cat ★★★★★
()
Ответ на: комментарий от James_Holden

Ты, кстати, новость про японский метеорит видел? Там витамины всякие нашли, прям, аптека. Меня впечатлило.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от Leupold_cat

Эти представления давно устарели. Особенно в отношении астроцитов, которые, как оказалось, умеют возбуждаться. Осознание этого привело к появлению концепции трехсторонних синапсов.

С точки зрения модели обработки информации это ничего не меняет. Еще одна клетка, которая подает сигналы на вход других клеток.

Psilocybe ★★★★
()

Мне пока однозначно понятно, что подход к образованию надо будет менять. Он уже сейчас может спокойно делать курсачи и контрольные работы для заочки всяких наших «новых академий современного менеджмента». Учитывая, что там практикуется удалёнка, можно вообще в полностью автоматическом режиме учиться.

Alden ★★★★
()
Последнее исправление: Alden (всего исправлений: 1)
Ответ на: комментарий от Psilocybe

Прикольно читать, как носители 15 милиардов нейронов в голове пишут, что нейросетка это просто калькулятор.

Что-то никто не отреагировал. Аж обидно. На самом деле 86 милиардов нейронов. Такая шутка пропала.

Psilocybe ★★★★
()
Ответ на: комментарий от R_He_Po6oT

А что интересного. Аминокислоты в прошлом веке еще нашли.

ДНК и РНК куда интереснее, потому что имеют свойство самокопирования, но их нигде кроме нашего шарика не нашли, вот интересно почему это

James_Holden ★★★★
()
Ответ на: комментарий от Psilocybe

А в чем шутка?

Весь человеческий мозг содержит 86 миллиардов нейронов; примерно 16 миллиардов нейронов находятся в коре больших полушарий.

(с) Википедия. Которая кстати пишет, что у дельфинов столько же нейронов, что немного портит аргумент про количество

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Которая кстати пишет, что у дельфинов столько же нейронов, что немного портит аргумент про количество

Так и архитектура влияет. Интеллект врановых - большой намек на то, что мозг млекопитающих - это не state of the art с точки зрения архитектуры.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 2)
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)