LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★

Последнее исправление: CrX (всего исправлений: 2)

Ответ на: комментарий от LINUX-ORG-RU

Так суть в том что человек просто не в состоянии осмысленно оперировать таким количеством данных с которыми работают нейросетки, в смысле в состоянии, но неосознанно и только с нейросеткой в своей голове.

Любая виндоус или линукс оперирует таким количеством данных, которым человек оперировать осмысленно не в состоянии

А это машина, она в качестве входных данных может получать общее состояние если не самой себя то другой сетки и в качестве выходных данных будет другая нейросетка например адаптированная для работы в новых условиях всё это в перемежку с генерацией обычного кода который и будет создавать условия работы сетки в новых условиях.

И все это она сама, без разработчиков, которые в нее это заложили

проблема в понимании что да как начинается когда тысячи значений начинают влиять друг на друга при этом ещё каждое чуть меняется и так далее,

Вы описываете ужасы, происходящие внутри рядового чипа процессора из прошлого века. Шайтан-машина!

vaddd ★☆
()
Ответ на: комментарий от dataman

Если мы говорим прям про ИИ теоретический то нет не может. Это как запретить человеку разговаривать самому с собой мысленно. Ничто не мешает сделать внутри нейросетки замкнутую среду которая не получает напрямую данные из вне и не влияет на выходные данные, а работает только например в пределах нескольких слоёв влияя на них, анализируя их подстраивая их. Это можно сделать руками, это может образоваться само собой если того требует задача.

Тут надо просто взять и поиграть с нейросетями, в смысле написать свою, визуализировать работу, прям в живую поналюдать как идёт обучение, как каждый раз по разному одна и таже система учится одному и тому же. Не теоретически фантазировать, а на личном опыте потыкать, никаких библиотек не надо ничего не надо, никакой математики ненужно от слова совсем, базовые концепции примитивны и являются основой на 90% любой нейросетки. Тогда вся магия улетучивается и становится понятно чего к чему и естественным образом появляется понимание как оно работает и как оно может работать так что хрен ты поймёшь как оно уже в финале работает =))) Хотя потратив время можно конечно всё однозначно всё описать, но эт такая нудятина и по факту это заморозка сетки. Это гуд для всяких сеток сортировки и прочего, но не гуд для речевой модельки и подобного.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Если мы говорим прям про ИИ теоретический то нет не может.

То есть вы говорите про ИИ, который возник сам по себе, без разработчиков. Это да, это страшная штука

vaddd ★☆
()
Ответ на: комментарий от LINUX-ORG-RU

Если мы говорим прям про ИИ теоретический то нет не может. Это как запретить человеку разговаривать самому с собой мысленно.

Смотрел «Я, робот» и «Двухсотлетний человек» по тому же Азимову? :)

Наверное, именно поэтому и «забили тревогу».

dataman ★★★★★
()
Ответ на: комментарий от goingUp

Нейросети, если упростить, это перемножение гиганських матриц.

Итальянский регулятор ограничил «перемножение гиганських матриц» ©
…в противном случае компании будет выписан штраф в размере до €20 млн.

Это тяжело логгировать по объему и тяжело из этих цифр извлекать смысл.

«Товарищи учёные, доценты с кандидатами!
Замучились вы с иксами, запутались в нулях» ©.

quickquest ★★★★★
()
Последнее исправление: quickquest (всего исправлений: 1)
Ответ на: комментарий от dataman

Заняв какой-то участок, вы размножаетесь, пока все природные ресурсы не будут исчерпаны.

Только в манямирке супермакса из сделаноунас

anon1984
()
Ответ на: комментарий от vaddd

Логируется логика поиска и принятия решения. Или вам кажется, что разработчики сделали перемножение гиганьских матриц и теперь с ужасом и непониманием смотрят на происходящее?

Ну как-то так. Во время обучения в нейросеть загружали массу текстов, во время этого высчитывались ее 175 миллиардов параметров. Потом текст переводится в числа, подается на вход, с выхода снимается результат. Логики поиска и принятия решения нет, оно по заданному вопросу аппроксимирует ответ, как аппроксимируют функцию, только сложнее. И это не мое мнение, часто можно услышать про black box, в том числе в видео, что я скидывал, и что даже разработчики не знают, что реально происходит в их Generative Pretrained Transformer.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от vaddd

Ну типа, в теории для его возникновения просто не хватает вычислительных мощностей и созданных специально под его возникновения условий. Текущие нейрочетки это в 99% случаев узкоспециализированные надроченные сеточки которые обычным ПО склеены между собой, те же речевые модели вроде ГПТ и прочего, в ГПТ и подобных опасность не в них самих, а в том как эту тупую, но способную оперировать огромным количеством информации использует человек, таже фигня с сетями дипфейками которые при должных мозностях могут делать видеоконтент откровенно провокационный вводя в заблуждение массы, звук и прочее, это вот опасность сеток на уровне использования их человеком в злом ключе, как ножик которым можно булочку нарезать к чаю, а можно… Ну ты понял. Теоретический ИИ к этому всему отношения не имеет от слова совсем, ну разве что в основе своей он тоже будет на нейросетях если не полностью то отчасти этого гарантированно. Но повторюсь ИИ нет и не будет ещё ооооооооооооч долго, просто нет для него ни технологий ни мощностей ни условий ни бабла у людей. А вот бешенные электронные шизы которых по дурости могут пихнуть во что-то важное без задней мысли есть, и этим электронным шизам люди мистифицируют разум «оно умеет говорить!!1 Аааааа оно живое!!» и полагаются на них… Вот я даже не знаю что хуже, ИИ который саморазвился в лаборатории, понял что вокруг дэбилы и распространился в мировой сети начав творить дичь чисто по приколу для себя, или некая нейросеть которую натренили на законодательстве и разрешили выносить приговоры в судах например, или типа того. Такие дела, всё гибко и ничего непонятно, просто надо держать в уме что для применения всего есть разумные границы.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от vaddd

Тот кто осмыслил «один плюс один» часто мнит себя мыслителем и обязательно хочет кого-то пнуть в сторону мышления. Со стороны выглядит смешно.

А по поводу смысла - выживание заложено в каждое живое существо. Нету никакого человечества, каждый хочет выжить. Налей в тазик воды и засунь голову, убедишься. Никаких мыслей о человечестве не будет, простой инстинкт. Человечество это привело в сегодня, выстроив сложнейшие цепочки взаимоотношений, договоров и пр. Духовный, сексуальный, коллекционерский, алкашеский, все остальные смыслы это тогда когда первый, изначальный смысл обеспечен и жизни ничто не угражает прямо сейчас.

А теперь машины начали угрожать нипадецки. Человек убрал саблезубого тигра, человек убрал всех кто мешал выживать, а теперь расслабился и вообразив себя творцом слепил кадавра и забыл об опасности. И самое смешное, до серьёзного ИИ ещё далеко, но уже половина человечества рискует лишиться работы и пуститься во все тяжкие ради выживания просто потому что новая, лишняя сущность выперла их всех.

R_He_Po6oT ★★★★
()
Ответ на: комментарий от goingUp

Во время обучения в нейросеть загружали массу текстов, во время этого высчитывались ее 175 миллиардов параметров.

Внушаить уважение! А если записать от руки алгоритм этого высчитывания - займет несколько листиков. Но так будет уже совсем не страшно

Потом текст переводится в числа, подается на вход, с выхода снимается результат.

Надо же, как необычно!

vaddd ★☆
()
Ответ на: комментарий от dataman

Ну там забили тревогу не из за нейросетей и ИИ, а из за использования нейросеток в пагубных целях и/или в целях полезных только на бумаге, например пресловутое «художники больше не нужны» например, на бизнес моделях которые основаны на почти полном отсутствии людей для получения продукта, это просто разрушит любую экномику в итоге. Рабочие должны работать что-бы производить и они должны получать что-бы покупать произведённое. Без этого получается коммунизм идеальный когда фабрики всё делают, а люди только потребляют даже без «от каждого по возможностям, каждому по потребностям», но получается бред бизнес хочет избавится от людей сохраняя прибыль, но без людей способных купить бизнес теряет в перспективе клиентов, тогда всё переориентируется на огромные цены для высшего класса и порождает отбросов которые ненужны на производстве и не могут ничего купить. Получается шизоидная картина мира, повторюсь, у всего есть предел, ЭВМ заменили многих, но ещё больших создали (профессий), нейросетки говорилки генерилки, частично заменят многих (иллюстраторов например) , а вот что создадут? Профессиональных набирателей заданий для сеток обычным текстом? Ну хз.

Если утрировать то дело вообще не в нейросетках и мифическом ИИ (на данный момент), а просто в нерациональном использовании технологий по принципу я сейчас сливки сниму, а дальше пусть всё горит нахер, мне насрать.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Короче, если перефразировать «классика»: «Я до ИИ не доживу, а вот детей жалко».

dataman ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Ну типа, в теории для его возникновения просто не хватает вычислительных мощностей и созданных специально под его возникновения условий.

Он должен зародиться как жизнь во Вселенной, где-то в недрах /dev/random ?

vaddd ★☆
()
Ответ на: комментарий от vaddd

Ну не так прямолинейно, если бы даже я знал все факторы которые нужны, то скайнет бы уже показывал всем факи по телику =) А ИИ в тихую играл бы с человечеством как в стратегию. Откуда я знаю, просто если смотреть в лоб то вычислительных ресурсов хватает только для крутого, но примитива по сравнению с нашим черепком.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

Тот кто осмыслил «один плюс один» часто мнит себя мыслителем и обязательно хочет кого-то пнуть в сторону мышления. Со стороны выглядит смешно.

Я и не слишком надеялся, что у вас возникнет желание задуматься. С непривычки это сложно, и, наверное, неприятно.

А по поводу смысла - выживание заложено в каждое живое существо.

Это не смысл, не путайте простые русские слова. От того, что вы сопротивляетесь смерти - смысла в вашей жизни не появляется

Никаких мыслей о человечестве не будет, простой инстинкт.

Зачем вы мне рассказываете про инстинкт, если вопрос был о смысле? )

и вообразив себя творцом слепил кадавра и забыл об опасности.

Как легко напугать не предсрасположенных к размышлениям людей

vaddd ★☆
()
Ответ на: комментарий от LINUX-ORG-RU

Если утрировать то дело вообще не в нейросетках и мифическом ИИ (на данный момент), а просто в нерациональном использовании технологий по принципу я сейчас сливки сниму, а дальше пусть всё горит нахер, мне насрать.

А других вариантов использования все равно нет. Человечество наклепало несуразно много, по сравнению со своими реальными возможностями, вычислительных мощностей и сейчас пытается занять их хоть чем-то.

Отсюда и продвинутые болталки

vaddd ★☆
()
Ответ на: комментарий от vaddd

Не, ну всякое чисто ради интереса,развлечений,науки делать конечно надо, я вот игрушки клепаю =) Тоже нерационально, но я не прикручиваю логику турельки из игры к реальной турельке, в том и разница. А вот некоторые доверяют сеткам вычислять кого увольнять основываясь на активности в чатиках корпоративных и прочих данных. То есть доверяют принятие сложных решений автоматике полностью снося нахер все нюансы. Это уже реальность и это пичальна =) Используют не как дополнительный инструмент, а как основной. Эх ладно.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Тоже нерационально, но я не прикручиваю логику турельки из игры к реальной турельке, в том и разница.

«ИИ» тут ни при чем, к реальным предметам всегда прикручивают люди. А для турелек достаточно одноплатника, интеллект тут не требуется.

А вот некоторые доверяют сеткам вычислять кого увольнять основываясь на активности в чатиках корпоративных и прочих данных

Это либо руководители, замешанные в чем-то военно-политическом, где важен морально-патриотический облик, либо совсем уж недалекие, кторым деньги девать некуда. Остальные смотрят на профессионализм. Так что системой это никогда не станет )

vaddd ★☆
()
Ответ на: комментарий от vaddd

Не моя вина в том, что ты его не увидел. Выживание является самостоятельным смыслом, так глубоко засевшим, что фактически является инстинктом. Но не перестаёт от этого быть смыслом. Особенно в свете темы «человеки vs. роботы». И этот базовый смысл общий для всех людей и объединяет их всех в человечество, как сообщество которое должно помочь эффективнее выживать каждому человеку. Дальше всё разнится для разных людей. Смысл ставший инстинктом. Но ты опять не поймёшь и будешь думать какой ты крутой и оригинальный. (а на самом деле крутой и оригинальный я).

R_He_Po6oT ★★★★
()
Ответ на: комментарий от R_He_Po6oT

Выживание является самостоятельным смыслом

Не является. Значения слов «цель» и «смысл» вы явно не знаете и поэтому путаетесь в них.

самостоятельным смыслом, так глубоко засевшим, что фактически является инстинктом.

Я рад, что вы хотя бы попытались. Правда.

И этот базовый смысл общий для всех людей и объединяет их всех в человечество, как сообщество которое должно помочь эффективнее выживать каждому человеку.

Очень много пафоса. Но нет, никакого базового смысла у людей нет. Мало того, даже общей цели нет. Лозунг ваш громкий, но реальности совсем не соответствующий. Человечества, как носителя чего-то общего, не существует, это толпа людей с совершено различными персональными интересами, редко выходящими за пределы семьи.

Смысл ставший инстинктом.

Остановитесь, а то уже становится смешно.

vaddd ★☆
()
Ответ на: комментарий от ex-kiev

Вся надежда на пришельцев - прилетят и спасут. Или спасуют.

dataman ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

А по поводу смысла - выживание заложено в каждое живое существо. Нету никакого человечества, каждый хочет выжить. Налей в тазик воды и засунь голову, убедишься. Никаких мыслей о человечестве не будет, простой инстинкт. …

Индивид не способен обеспечить выживание своего генетического кода. Это может обеспечить только выживание популяции в целом.

ex-kiev
()
Ответ на: комментарий от vaddd

А если записать от руки алгоритм этого высчитывания - займет несколько листиков.

Не уверен, вы не понимаете, что работа этого алгоритма зависит от 175 миллиардов параметров, или просто меня троллите)

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Не уверен, вы не понимаете, что работа этого алгоритма зависит от 175 миллиардов параметров, или просто меня троллите)

Похоже, это вы из-за страхов перед ИИ меня не понимаете ) Количество учитываемых параметров никак не связано со сложностью алгоритма. Вы можете учитывать хоть триллион параметров, а алгоритм записать в несколько строчек. Любой адаптивный алгоритм, алгоритм с обратной связью для человека, не видящего его, будет выглядеть чудом, особенно если он на выходе выдаст что-то человекоподобное. Кого-то возможно точно так же пугает Т9 в телефонах, подчеркивание ошибок в ворде или какой-нибудь шахматный движок. А тут оно еще и связные тексты выдает, вах!

vaddd ★☆
()
Ответ на: комментарий от vaddd

Количество учитываемых параметров никак не связано со сложностью алгоритма. Вы можете учитывать хоть триллион параметров, а алгоритм записать в несколько строчек. Любой адаптивный алгоритм, алгоритм с обратной связью для человека, не видящего его, будет выглядеть чудом, особенно если он на выходе выдаст что-то человекоподобное. Кого-то возможно точно так же пугает Т9 в телефонах, подчеркивание ошибок в ворде или какой-нибудь шахматный движок. А тут оно еще и связные тексты выдает, вах!

Сложность алгоритма вы только сейчас вытащили, начали приписывать мне какие-то страхи, хотя дискуссия начиналась с того, можно ли логировать работу нейросети. Но я вас понял, вы нейросетей не боитесь! На сем предлагаю закончить дискуссию.

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

хотя дискуссия начиналась с того, можно ли логировать работу нейросети

Значит вы полагаете, что разработчики нейросетей ничего не логируют и что там происходит - не в курсе. Понятно.

vaddd ★☆
()
Ответ на: комментарий от vaddd

Внезапно, из сабжевого документа

this does not mean a pause on AI development in general merely a stepping back from the dangerous race to ever larger unpredictable Black Box models with emergent capabilities like self-teaching

Тобишь они не хотят, чтобы было херак-херак - оно генерирует связную речь - можно в продакшен. У меня всё.

goingUp ★★★★★
()

Signatures 2080

Признавайтесь, кто-нибудь добавил свою подпись? 😉

dataman ★★★★★
()
Ответ на: комментарий от goingUp

Внезапно, из сабжевого документа this does not mean a pause on AI development in general merely a stepping back from the dangerous race to ever larger unpredictable Black Box models with emergent capabilities like self-teaching Тобишь они не хотят, чтобы было херак-херак - оно генерирует связную речь - можно в продакшен. У меня всё.

Да пусть себе не хотят. Я надеюсь вас, как технаря не пугают чудеса, происходящие в «Блэкбоксах»? Или, судя по тому, что вы уверены, будто там ничего не логируется и происходит неконтролируемо - все же пугает? К чему был этот полный восторга и преклонения шепот про 175 миллиардов параметров, невозможных для контроля?

vaddd ★☆
()
Ответ на: комментарий от ex-kiev

А ему не надо обеспечивать выживание вида. Это нужно учёным и антропологам, чтобы занести вид в табличку и пафосно причмокивать бородой. А человеку на это пофигу.

И кстати, одиночество никак не мешает многим видам животных выживать.

R_He_Po6oT ★★★★
()
Ответ на: комментарий от vaddd

Еще один полагающий, что разработчики не знают что там логировать и не понимают как они работают.

Жаль, что не все разработчики это знают. Смотри например: «Theory of Mind May Have Spontaneously Emerged in Large Language Models».

Нет бы сразу сказать: «Ага, сеть работает так и так, значит начиная со 150 миллиардов параметров и 5 терабайт обучающего текста у неё появится понимание чужого сознания (или имитация понимания чужого сознания, которая должна ломаться на таких-то и таких-то примерах)». А тут какие-то «may have emerged», экспериментальные тесты. Опять трактористы везде, да?

red75prim ★★★
()
Ответ на: комментарий от vaddd

Выживание это не громкий лозунг, это выживание. Всё остальное, сверху, вот там лозунги.

А про «цель», «смысл», «инстинкт» и т.д. - можно долго играть в демагогию, но ты всё равно не признаешь, у тебя принцип и в твою парадигму не вмещается что как совмещается и что за чем следует и как порождает одно другое. Почему тебе надо бороться со смыслом? Является ли мой личный смысл смыслом потому что ты его не признаёшь? Может ли мой личный смысл быть смыслом вообще? А цель это цель вообще? Кто поставил такую цель? И всё такое прочее. Это скучно. С точки зрения квантовой механики нас вообще не существует, но вот они мы с тобой, пишем на лоре белиберду всякую. Стоит ли это отрицать?

R_He_Po6oT ★★★★
()

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Старые маразматики!

iZEN ★★★★★
()
Ответ на: комментарий от red75prim

Жаль, что не все разработчики это знают.

Не знают что разрабатывают и как? Не знают как контролировать происходящее внутри их разработки? Я точно среди людей, имеющих хоть какое-то отношение к програмированию?

vaddd ★☆
()
Ответ на: комментарий от R_He_Po6oT

С точки зрения квантовой механики нас вообще не существует

А кто её придумал для своего же удобства?

Вот когда «ИИ» напишет/скажет «Je pense, donc je suis» самостоятельно, без требования оператора, тогда и стоит начать волноваться.

dataman ★★★★★
()
Ответ на: комментарий от vaddd

Они разрабатывают самоорганизующуюся систему. И эта система преподносит сюрпризы. Я точно среди людей с глазами?

Никто не ожидал, например, что имея только текст во входных данных система сможет сформировать представление о пространственных отношениях. См. «Sparks of Artificial General Intelligence: Early experiments with GPT-4»

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 1)
Ответ на: комментарий от R_He_Po6oT

Выживание это не громкий лозунг, это выживание. Всё остальное, сверху, вот там лозунги.

Смысл у этого выживания какой-то есть? В чем он? Предвижу потрясающий своей мыслеглубиной ответ «смысл выживания в выживании»

Почему тебе надо бороться со смыслом?

Я лишь пытаюсь услышать от вас - в чем он?

Является ли мой личный смысл смыслом потому что ты его не признаёшь?

Так вы же не не про личный смысл говорите, вы от лица человечества чего-то там провозглашаете. Можно даже сказать пафосные лозунги подобно вождю произносите.

но вот они мы с тобой, пишем на лоре белиберду всякую

О! Трезвая оценка! А теперь точно так же про человечество - но без кликушеских лозунгов?

vaddd ★☆
()
Ответ на: комментарий от red75prim

Они разрабатывают самоорганизующуюся систему. И эта система преподносит сюрпризы.

Это как-то означает, что разработчики не в состоянии проанализировать и разложить по полочкам этот сюрприз?

Никто не ожидал, например, что имея только текст во входных данных система сможет сформировать представление о пространственных отношениях.

Оставьте эту терминологию для лохов. Система представлений не формирует. Представление - это часть психического процесса у человека. Система лишь вычисляет причинно-следственные связи между элементами информации. И то, что она их вычисляет - не является неконтролируемым чудом.

vaddd ★☆
()
Ответ на: комментарий от dataman

Вот когда «ИИ» напишет/скажет «Je pense, donc je suis» самостоятельно, без требования оператора, тогда и стоит начать волноваться. Табуировать для ИИ личные местоимения, лишить инструментов для самоописания.

Dmytr
()
Ответ на: комментарий от dataman

Вот когда «ИИ» напишет/скажет «Je pense, donc je suis» самостоятельно, без требования оператора, тогда и стоит начать волноваться.

Вот когда ИИ догадается: «Je pense, donc que l’opérateur qui m’a créé existe», тогда и стоит начать волноваться.

А ежели изречёт: «Si fallor, sum» («Если я ошибаюсь, я есмь») // Августин, то ему можно будет присвоить звание «наимудрейший из мудрых, умудрённый мудростью мудрейших мудрецов» :)

quickquest ★★★★★
()
Ответ на: комментарий от vaddd

Это как-то означает, что разработчики не в состоянии проанализировать и разложить по полочкам этот сюрприз?

Теоретически могут. А практически, анализ нелинейной системы со 175 миллиардами параметров представляет собой очень сложную задачу. Interpretability in machine learning - это развивающаяся область науки, с пока весьма ограниченными результатами.

Цитата от очередных трактористов из «Interpretability in the wild: a circuit for indirect object identification in GPT-2 small»: «Transformer-based language models (Vaswani et al., 2017; Brown et al., 2020) have demonstrated an impressive suite of capabilities but largely remain black boxes. Understanding these models is difficult because they employ complex non-linear interactions in densely-connected layers and operate in a high-dimensional space».

Система лишь вычисляет причинно-следственные связи между элементами информации.

Хех. Вычислить причинно-следственные связи без возможности производить эксперименты - это вообще-то очень непросто. На эту тему есть целый раздел науки с Judea Pearl во главе. Он разработал способы вычисления причинно-следственных связей для применения в системах искусственного интеллекта.

В GPT эти способы не были использованы. GPT-3 «просто» выполняет стохастический градиентный спуск в пространстве со ста семьюдесятью пятью миллиардами измерений минимизируя ошибку предсказания следующего токена.

И то, что она их вычисляет - не является неконтролируемым чудом.

Откуда чудеса-то взялись? Да, вычисляет. Никто не ожидал, что сможет вычислить. Ну, а то, что вам термины не нравятся, это - ваши личные заморочки. «Если оно крякает…» и так далее.

red75prim ★★★
()
Последнее исправление: red75prim (всего исправлений: 2)
Ответ на: комментарий от red75prim

Теоретически могут. А практически, анализ нелинейной системы со 175 миллиардами параметров представляет собой очень сложную задачу.

Выражайтесь яснее - могут разработчики посмотреть и проанализировать то, что в ней происходит или нет? Могут они ее изменить или нет?

Вычислить причинно-следственные связи без возможности производить эксперименты

То есть разработчики проводить эксперименты на собственной системе не могут? Я точно на техническом форуме? Вы точно не журналист?

Никто не ожидал, что сможет вычислить.

Наверное все же журналист

vaddd ★☆
()
Ответ на: комментарий от LINUX-ORG-RU

которые основаны на почти полном отсутствии людей для получения продукта, это просто разрушит любую экномику в итоге.

Не разрушит а толкнет вперед, людям не нужно будет заниматься всякой ерундой.

Рабочие должны работать что-бы производить и они должны получать что-бы покупать произведённое.

Рабочие никому ничего не должны, только вот не работая можно помереть с голоду (при перепроизводстве еды).

ya-betmen ★★★★★
()
Ответ на: комментарий от vaddd

могут разработчики посмотреть и проанализировать то, что в ней происходит или нет? Могут они ее изменить или нет?

Посмотреть на 175 миллиардов чисел, естественно могут. Попытаться понять что там происходит, тоже могут. Понять что там происходит во всей полноте не могут. Приложите уже усилие и найдите цитату от исследователя машинного обучения, где говорится, что «всё понятно, никаких неожиданностей». Подсказка: таких цитат нет.

Могут-ли целенаправленно изменить поведение сети? Могут. С использованием reinforcement learning with human feedback, например. Только понимания приципов работы для этого требуется не больше, чем понимания принципов работы мозга собаки для того чтобы научить её команде «сидеть».

То есть разработчики проводить эксперименты на собственной системе не могут?

Вы точно не GPT-3? У вас контекст потерялся. Напомню:

«Система лишь вычисляет причинно-следственные связи между элементами информации.» Система - это GPT.

Я ответил, что даже если и вычисляет, то сделать это без проведения экспериментов очень непросто (GPT-3, естественно, никаких экспериментов не ставит), и этому она научилась сама без подсказок Judea Pearl.

Проведение экспериментов разработчиками - это ваша отсебятина, или галлюцинация, если использовать технический термин из машинного обучения, обозначающий не соответствующий фактам вывод нейросетевой модели.

red75prim ★★★
()
Ответ на: комментарий от red75prim

Посмотреть на 175 миллиардов чисел, естественно могут.

Зачем?

Попытаться понять что там происходит, тоже могут. Понять что там происходит во всей полноте не могут.

Зачем смотреть «во всей полноте»? Смотрят на главное. Вегда есть группы параметров, всегда есть причинно-соедственные связи более высоких уровней, всегда есть группы абстракций, всегда есть весовые коэффициенты при принятии решений, всегда есть обощенные данные по коэффициентам. Пугать миллиардами и триллионами парметров вы будете в журнальных статьях для электората, это всегда впечатляет.

Я ответил, что даже если и вычисляет, то сделать это без проведения экспериментов очень непросто (GPT-3, естественно, никаких экспериментов не ставит), и этому она научилась сама без подсказок Judea Pearl.

Каких еще экспериментов? )) Весь интернет - это огромное хранилище информации об уже состоявшихся экспериментах. Системе не нужно экспериментировать с внешним миром. Сеть лишь обрабатывает эти данные, находя взаимосвязи между понятиями. Развивайся сколько угодно. Например перерабатывай массив биржевой информации, сопоставляй с экономическими данными и настроениями людей, да хоть с погодой, выдавай в ответ чудо прогноза. То, чем занят почти любой научный софт - нахождение зависимостей между данными.

vaddd ★☆
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)