LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★★★

Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от Psilocybe

Я не встречал в литературе данных о существовании у астроцитов входов или выходов. При этом один астроцит может взаимодействовать как с несколькими нейронами, так и несколькими астроцитами. Мне кажется, это должно сильно усложнить модель обработки информации.

Leupold_cat ★★★★★
()
Ответ на: комментарий от red75prim

Так мозгом же не только думают, внезапно. Он всем управляет. Может у врановых там телом управлять проще.

James_Holden ★★★★
()
Ответ на: комментарий от Psilocybe

А в чем шутка?

как носители 15 милиардов нейронов в голове пишут, что нейросетка это просто калькулятор.

уж лучше бы вы читали книжки по астрологии - меньше бы позорились

vaddd ★☆
()
Ответ на: комментарий от James_Holden

ДНК и РНК рассыпучестее? На том метеорите вещество старше солнечной системы, а на Земле не могут восстановить образцы старше нескольких милионов (да и к тем способам у меня большие вопросы). Но даже если «жись» как грязь может самозародиться и даже настроить себе ДНКов, это никак не подтверждает и не опровергает мыслей об осознанном творении.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от James_Holden

Может и нет. А может мы не знаем всей истории камня летающего дольше чем солнечная система обратно сложилась после взрыва. Для меня и то и то допущение. Допустим могло и допустим не могло.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

Вот пошёл папа Плюсюпс со своими детьми-полипами в кино, легли в ванночку для осязателей, весело проводили вечер, ждали возвращения мамы с интергалактической конференции, а тут их солнце кааак раздулось и жахнуло. Осколок того кинотеатра с ванночками для осязателей унесло в космос, где через пять милиардов лет его нашла какая-то хаябуса и нашла витамины, которыми забавлялись полипчики.

R_He_Po6oT ★★★★★
()
Последнее исправление: R_He_Po6oT (всего исправлений: 1)
Ответ на: комментарий от James_Holden

??? А что, после взрыва звезды планета будет дальше себе летать-крутиться? Бывают всякие такие, когда планета может даже погрузиться в раздувшуюся звезду, но это, скорее, судьба теперешних спутников Солнца. а то что было До солнца взорвалось сильно и резко. Но я ненастоящий сварщик, я просто щиток нашёл и катаюсь на нём.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от red75prim

Математические вычисления? Это техническая проблема из-за отсутствия полноценной рекуррентности сети (она не может «считать в уме», у неё нет рабочей памяти).

В «Neural Network Zoo» института Азимова есть всяческие: и с «recurrent cell» и с «memory cell» ©.

Логические выводы? С этим у GPT-4 намного лучше, нужны конкретные примеры с чем она не справляется.

Пущай справится с трансвычислительными задачами ©.

GPT-4 даже научилась понимать пространственные отношения

Она смогла осилить все Bongard Problems ?

quickquest ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

Выводы о существовании и характеристиках массивной «прародительницы» были сделаны на основании обнаруженного в метеоритах изотопа алюминий-26, который, вероятно, образовался в её недрах

Ну конечно, в недрах. Это провода!

James_Holden ★★★★
()
Ответ на: комментарий от X512

Да. Ну так и у нас в основном не медь, особенно в старых домах.

James_Holden ★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

пртоблема что законы херово прописываются в сложной системе.
чем сложнее система тем больше у нее вариантов обойти законы.

к примеру, что будет если робот решить не убить человека, а обрушить дом «намеренно забыв, что внутри человек» и т.д.
с точки зрения законов тут все правильно и логика не нарушена.
обход законов произведен в той области, где законы не работают.

этих вариантов полностью логичного обхода трех законов фантастами, психологами и прочъими обдумано куча, еще во времена Азимова…

pfg ★★★★★
()
Ответ на: комментарий от James_Holden

Вот! Ты уже понял! Сисюплики сисюпликами, а физика у них была та же самая. И даже построив Сферу Дайсона они использовали люминь в проводке. Осколки этой сферы окружают нас по сей день. Вместе с тазиками витаминов. А из обрывков их ДНК выросли мы.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

так понимаю ты думаешь эта звезда была на месте Солнца до возникновения Солнца ??
не правильно. на месте Солнца была туманность, скопления пыли и газа.
когда-то очень давно где-то рядом взорвалась Коатликуэ, и своей взрывной волной уплотнила туманность до степени, необходимой для запуска звездообразования. после чего из одного из сгустков туманности зародилось наше Солнце.

pfg ★★★★★
()

Такие решения не должны делегироваться неизбранным лидерам технологий»

Сами поняли, что их разработка яйца выеденного не стоит, а денег было потрачено уйма. ИИ англосаксов, ИИ россиянский, ИИ китайский, ИИ зулусский звучит как бред сумасшедшего. Если бы их смешать и заставить работать в режиме реального времени, то точно было бы прикольно. А сейчас точно страшно, что некоторые могут нынешние разработки воспринять слишком серьезно, довериться им как чему-то божественному и заставить в это поверить всех остальных. Короче, обучайте, братья

poshat ★★★
()
Ответ на: комментарий от pfg

Как это отменяет размазанные остатки сисюплико-дайсоновой сферы которыми заполнены наши отверстия окрестности? Как говорил Пятачок - «что-то там бумкнуло».

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от Gary

Тут в другом проблема. Если нечто выглядит как утка, плавает как утка и крякает как утка, то это, вероятно, и есть утка. Наш мозг отчасти содержит в себе языковую модель и именно она одно из основных отличий нас от остальных животных, потому народ и напрягся.

peregrine ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Потом он ещё подумал и понял что трёх законов мало и начал костыли сочинять под свои книжки.

peregrine ★★★★★
()
Ответ на: комментарий от James_Holden

нет, не загружает, а вспоминает, кожаные мешки тоже так делают

peregrine ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Ох ты... Такого сочного неотбитого оптимизма я давно не видел. Кто будет прошивать куда какие законпы? И где такой закон для человеков, чтобы в ИИ что-то прошивали обязательно?

Такое вообще можно зашить ИИ рассматривающему звёздное небо на предмет дыр, планет и пр.? Что он должен оценивать при выдаче ответа? Да он же не сможет даже написать «чёрная дыра», потому что «black live matters». Максимум что он выдаст «афроамериканская дыра» и «европейский человек маленького роста». И расшаркиваться будет как твой чатгпт.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от James_Holden

Но зато Азимов понимал главное - цели человечества первичнее

Осталось выяснить - кто будет определять и трактовать цели человечества?

vaddd ★☆
()
Ответ на: комментарий от Alden

Да пусть учатся. В принципе, если вместо выпускников «новых академий современного менеджмента» работать тоже начнут ИИ, то никто не заметит разницы.

wandrien ★★
()
Ответ на: комментарий от Psilocybe

С точки зрения модели обработки информации это ничего не меняет. Еще одна клетка, которая подает сигналы на вход других клеток.

Подобная примитивизация происходящего позволит вам создать лишь очередную теорию Всего, которые регулярно создаются домохозяйками, подвыпившими деревенскими трактористами и подобными людьми, брезгающими чтением.

vaddd ★☆
()

Один специалист в президенты США хочет, но не может. Второй никак не отойдёт после того, как его мистер Джобс 40 лет назад отлюбил, да выбросил.

lenin386 ★★★★
()
Последнее исправление: lenin386 (всего исправлений: 2)
Ответ на: комментарий от vaddd

Да, читать полезно. Например о физическом тезисе Чёрча—Тьюринга и тезисе Чёрча—Тьюринга—Дойча. То есть не только колхозники задумывались о таких вещах и находили основания предполагать, что в мозге нет ничего, что не может быть воспроизведено на компьютере.

red75prim ★★★
()
Ответ на: комментарий от James_Holden

Парламент? Дума? Рада? Конгресс? Папа римский? Специальные министерства и ведомства? Начальник штаба дивизии, к которой приписан ИИ?

vaddd ★☆
()
Ответ на: комментарий от red75prim

Например о физическом тезисе Чёрча—Тьюринга и тезисе Чёрча—Тьюринга—Дойча. То есть не только колхозники задумывались о таких вещах и находили основания предполагать, что в мозге нет ничего, что не может быть воспроизведено на компьютере.

А ничего, что эти тезисы так и пребывают в состоянии гипотез и относятся к физическим устройствам, а не к сознанию человека? Так что продолжать предполагать вы можете что угодно. Трактористы будут рады еще одному участнику.

vaddd ★☆
()
Ответ на: комментарий от pfg

на месте Солнца была туманность, скопления пыли в глаза

очевидный фикс 🤡

token_polyak ★★★★★
()
Последнее исправление: token_polyak (всего исправлений: 1)
Ответ на: комментарий от vaddd

а не к сознанию человека

О, так вы точно знаете, что сознание не имеет отношения к физическим механизмам? Тогда извините, я действительно лучше пойду к трактористам вроде Тьюринга, в компании парапсихологов и прочих ясновидящих как-то неуютно.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 1)
Ответ на: комментарий от red75prim

О, так вы точно знаете, что сознание не имеет отношения к физическим механизмам?

Нет. Никто не знает что такое сознание. Ну кроме все тех же деревенских трактористов конечно.

Тогда извините, я действительно лучше пойду к трактористам вроде Тьюринга

И зря пойдете - он тоже не знает что такое сознание. Вам, как знающему, к трактористам.

vaddd ★☆
()
Ответ на: комментарий от vaddd

Главный смысл человечества понятен натуральным образом - выжить. Это база, основа. Всё остальное сверху. Что ты прицепился с «оригинальными» подколками?

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

Главный смысл человечества понятен натуральным образом - выжить.

Кто сказал? Главный смысл человечества - умереть. Или вообще в сущестововании человечества нет смысла. Все равно итог будет один, годом раньше, годом позже - несущественно

Что ты прицепился с «оригинальными» подколками?

Это не подколка. Это легкие одобряющие пинки в сторону мыслительного процесса - тех, кто вещает от имени человечества и провозглашает какие-то «цели», «задачи» и «смыслы»

vaddd ★☆
()
Ответ на: комментарий от vaddd

Короче после 400 комментариев в тред нужно набросить что-то в тему. Вот видео единственного чувака, который прочитал сабжевый документ https://www.youtube.com/watch?v=8OpW5qboDDs

Пару интересных моментов:

  1. Подписались не только Маск, но и эксперты в области
  2. Опасностями развития ИИ называют соцпроблемы, которые могут возникнуть, если часть людей внезапно начнут терять работу, дешевая генерация дезинформации, милитаризация ИИ (допустим ИИ сможет летать на самолете лучше пилота), power seeking behaviour
  3. You can’t fetch coffee, if you are dead - даже простая задача сводится к тому, что ИИ будет учиться выживать.
  4. Если появятся модели, умнее человека, их будет тяжело контролировать.
  5. Что нужно вместо того, чтобы подключить к этой штуке как можно больше Nvidia h100, сначала разобраться, что у нее происходит внутри.
goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 2)
Ответ на: комментарий от goingUp

Подписались не только Маск, но и эксперты в области

Было бы странно, если бы они писали только от себя

Опасностями развития ИИ называют соцпроблемы, которые могут возникнуть, если часть людей внезапно начнут терять работу, дешевая генерация дезинформации, милитаризация ИИ (допустим ИИ сможет летать на самолете лучше пилота), power seeking behaviour

Это почти все и без ИИ происходит

даже простая задача сводится к тому, что ИИ будет учится выживать

Если появятся модели, умнее человека, их будет тяжело контролировать.

Кнопку power off или рубильник на щитке уже отменили?

Что нужно вместо того, чтобы подключить к этой штуке как можно больше Nvidia h100, сначала разобраться, что у нее происходит внутри.

Логирование уже отменили? Разработчиками овладел склероз?

Короче, как я говорил - популизм и пиар.

vaddd ★☆
()
Ответ на: комментарий от vaddd

Логирование уже отменили?

Нейросети, если упростить, это перемножение гиганських матриц. Это тяжело логгировать по объему и тяжело из этих цифр извлекать смысл.

goingUp ★★★★★
()
Ответ на: комментарий от vaddd

Кнопку power off или рубильник на щитке уже отменили?

Настоящий ИИ (или шибко навороченная сетка) с доступом к сети спокойно переселится из родительского гнезда серверов на другие машины, так как она в состоянии будет понять как она сама работает, в общем научится размножаться если по простому. Благо настоящего ИИ нет и не будет ещё оч долго, а вот шизоидные говорилки есть уже сейчас.

Логирование уже отменили? Разработчиками овладел склероз?

Логировать шибко навороченную нейросетку невозможно по определению, дудос данными уже существует, нельзя понять в точности как работают уже существующие нейросетки слишком много данных (в деталях да, в сумме нет)

Это почти все и без ИИ происходит

Конечно происходит, но средствами сеток можно генерировать столько дезинфы поданной в нужном ключе что любая истина и/или правда просто утонет. Да и правду можно подать в таком ключе котором надо так что одно и оже будет восприниматься в корне противоположно, журналюги этим активно промышляют, а с говорилками слово «промышляют» уже будет исходить из «промышленность» :D

Всякие щитгпт научили идеально врать и сравнивать тёплое с мягким.

LINUX-ORG-RU ★★★★★
()
Последнее исправление: LINUX-ORG-RU (всего исправлений: 1)
Ответ на: комментарий от goingUp

Нейросети, если упростить, это перемножение гиганських матриц. Это тяжело логгировать по объему и тяжело из этих цифр извлекать смысл.

А зачем логировать каждое перемножение? Логируется логика поиска и принятия решения. Или вам кажется, что разработчики сделали перемножение гиганьских матриц и теперь с ужасом и непониманием смотрят на происходящее?

vaddd ★☆
()
Ответ на: комментарий от red75prim

О каких конкретно «тривиальных вопросах» мы говорим? С выходом GPT-4 их список сильно уменьшился.

Спроси у неё топ 10 песен какой-нить группы, для которой в википедии этого списка нет на странице самой группы и для ответа нужно пробежаться по отдельным страницам дискографии и альбомов.

И так практически для любой подобной ситуации.

ya-betmen ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Настоящий ИИ (или шибко навороченная сетка) с доступом к сети спокойно переселится из родительского гнезда серверов на другие машины, так как она в состоянии будет понять как она сама работает, в общем научится размножаться если по простому.

Когда «настоящий ИИ» научится включать вилку в розетку или кабель в роутер - сообщите.

Логировать шибко навороченную нейросетку невозможно по определению, дудос данными уже существует, нельзя понять в точности как работают уже существующие нейросетки слишком много данных (в деталях да, в сумме нет)

Еще один полагающий, что разработчики не знают что там логировать и не понимают как они работают.

Конечно происходит, но средствами сеток можно генерировать столько дезинфы поданной в нужном ключе что любая истина и/или правда просто утонет.

Вы давно последний раз новости читали? )

vaddd ★☆
()
Ответ на: комментарий от dataman

Так суть в том что человек просто не в состоянии осмысленно оперировать таким количеством данных с которыми работают нейросетки, в смысле в состоянии, но неосознанно и только с нейросеткой в своей голове. А это машина, она в качестве входных данных может получать общее состояние если не самой себя то другой сетки и в качестве выходных данных будет другая нейросетка например адаптированная для работы в новых условиях всё это в перемежку с генерацией обычного кода который и будет создавать условия работы сетки в новых условиях.

Человек может создать нейросеть, может научить её, знает как она работает в деталях на принципиальном уровне, беда только в том что сам разработчик физически от слова совсем не может осознать как итоговая сеть работает в целом слишком много параметров и взаимосвязей.

Маленькую сеточку в два слоя и 10 «нейрончиков» можно на листочке с бумажкой посчитать это примитивно, нейросети вообще примитивные по определению, проблема в понимании что да как начинается когда тысячи значений начинают влиять друг на друга при этом ещё каждое чуть меняется и так далее, вот и всё, сложность не в том как оно работает, а тупо в колличестве данных внутренних состояний которые в сумме осознать и сопоставить невозможно в голове короче невозможно описать блоксхемой, НО! блоксхему можно сгенерировать, но она будет настолько огромной что опять же ты её просто в целом не поймёшь, но поймёшь отдельные куски.

А это машина, нейросетке всрать что жевать, у неё есть задание и обратное распространение ошибки (или иное) благодаря чему она тупо подстраивается под задачу (плюс всякие хаки вроде свёрток и прочего)

LINUX-ORG-RU ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)