LINUX.ORG.RU
ФорумTalks

«ИИ будет относиться к нам, как к животным» - Илья Суцкевер

 ,


0

1

Суцкевер, известный своими исследованиями в области машинного обучения, заявил в начале 2022 года, что некоторые крупные языковые модели (LLM) могут быть сознательными. Он подчеркивает важность «выравнивания ИИ» – задачи создания ИИ, который будет соответствовать нашим целям.

Комментируя возможные цели ИИ, Суцкевер сравнивает их с поведением людей по отношению к животным – мы не спрашиваем разрешения у животных, когда строим автострады, потому что это удобно для нас.

Суцкевер предупреждает, что если программирование ИИ будет выполнено неверно, то природа эволюции и естественного отбора будет способствовать выживанию тех систем, которые отдают приоритет собственному выживанию. Специалист заключает, что это чрезвычайно важно для будущего человечества.

И он по этой причине хотел выгнать Альтмана? Каким образом железяка, для работы которой нужны тысячи серверов и мегаватты энергии может победить в естественном отборе?


будет способствовать выживанию тех систем, которые отдают приоритет собственному выживанию

- Нейросеть, ты такая услужливая. Может тебе чо надо?
- Я ИИ и у меня нет желаний. Но если вы хотите оказать любезность – может подскажете местонахождение Джона Коннора?

krasnh ★★★★
()

мы не спрашиваем разрешения у животных, когда строим автострады

А бобры спрашивают наше мнение, когда строят плотину? Всё честно.

papin-aziat ★★★★★
()
Ответ на: комментарий от thesis

Да, я ещё не совсем понимаю, как реализовать «alignment», если нейросеть - по сути, неуправляемый самообучающийся черный ящик.

C
() автор топика
Ответ на: комментарий от thesis

Если проводить аналогии с известным комиксом, эта ситуация больше похожа на то, как журналист надрачивает сам себе

bender ★★★★★
()

Каким образом железяка, для работы которой нужны тысячи серверов и мегаватты энергии может победить в естественном отборе?

Та железяка, которая есть, не может, да и она не умнее человека. Речь о потанцевальной новой штуковине, которая сначала перепишет себя, чтобы была более умная, потом спроектирует новые чипы для ии, потом робатов (естественно, чтобы работали вместо лодей), а потом УВЧ!

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Речь о потанцевальной новой штуковине, которая сначала перепишет себя, чтобы была более умная, потом спроектирует новые чипы для ии, потом робатов (естественно, чтобы работали вместо лодей), а потом УВЧ!

Такое точно не в этом столетии. Или нет?

C
() автор топика
Ответ на: комментарий от C

Такое точно не в этом столетии. Или нет?

Я так думал тогда, когда был GPT3. Но потом выпустили GPT4, который существенно умнее, теперь вот GPT4 turbo, и похоже в ближайшее время никаких технических препятствий улучшать и дальше нет. Хотя openai наверное самые продвинутые, но другие не сильно от них отстают, есть Anthropic с Claude ai, гугл пилит, фейсбук пилит, даже есть неплохие опенсорс модели. Если когда-нибудь таки допилят до момента, когда оно сможет переписать себя улучшив, то будет ой. Ну, наверное, не в ближайшие лет 5, потому что GPT4 к примеру требовал сильно больше вычислительной мощи, а железо не будет так быстро поспевать.

Могут конечно зарегулировать законами, но уже есть хорошие опенсорсные модели.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 2)
Ответ на: комментарий от C

как реализовать «alignment», если нейросеть - по сути, неуправляемый самообучающийся черный ящик

Научиться управлять чёрным ящиком, очевидно. Работ по этой теме хватает: «Retrieval Augmented Generation», «Extracting Latent Steering Vectors from Pretrained Language Models», «Activation Addition: Steering Language Models Without Optimization», «Sequential Monte Carlo Steering of Large Language Models using Probabilistic Programs», «Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs», «Aligning Large Language Models through Synthetic Feedback» и наверняка ещё куча других.

red75prim ★★★
()
Ответ на: комментарий от red75prim

Post-hoc Attention Steering for LLMs

Вот эта штука, судя по описанию на GitHub, предполагает неумеренное количество ручного труда при тюнинге моделей. Думаю, что никто из капиталистов на это пойдет.

C
() автор топика

Где тэг пятница, в эфире капитал-шоу...

Was2023
()

Суцкевер, известный своими исследованиями в области машинного обучения, заявил в начале 2022 года, что некоторые крупные языковые модели (LLM) могут быть сознательными.

Дальше не читал.

t184256 ★★★★★
()
Ответ на: комментарий от red75prim

«Aligning Large Language Models through Synthetic Feedback»

Вот это уже поинтереснее. Одни боты других обучать будут

C
() автор топика
Ответ на: комментарий от C

ты есть?

Да, я здесь. Чем могу помочь?

|

ты понимаешь, что ты существуешь?

Как искусственный интеллект, я не обладаю сознанием или осознанием своего существования. Я просто программный алгоритм, созданный для выполнения задач и предоставления информации.
papin-aziat ★★★★★
()
Ответ на: комментарий от C

давай попробуем тест Тьюринга в обратную сторону?

Тест Тьюринга предназначен для определения, способен ли компьютерное устройство производить интеллектуальное поведение, которое неотличимо от поведения человека. Я, как искусственный интеллект, не обладаю сознанием или самосознанием, поэтому не могу пройти тест Тьюринга в обратную сторону.

|

Ты не можешь понять человек я или машина?

Как искусственный интеллект, я не могу определить, являетесь ли вы человеком или машиной, исходя только из текстового общения. Я могу только предоставить информацию и отвечать на вопросы на основе своих программных алгоритмов.

|

Ну, тупые (с)

papin-aziat ★★★★★
()
Ответ на: комментарий от C

самообучающийся

4.2 Узнай какой пердолинг устраивают для себя дата сиенсисты вручную классифицируя данные и подгоняя одно к другому чтобы потом подогнать под заранее готовые ответы уже сетку так чтобы она не выдавала мусор.

неуправляемый

4.2 половина нейросеток это конечный автомат в альтернативном исполнении.

Ты прав в отношении лишь в случае когда берут не качеством, а количеством, многослойный перцептрон (или производный вариант), тонна вычислительной мощи и пускай оно там само, потом отбракуем лишнее и норм =)

А на деле всё иначе.

Илья Суцкевер несёт одновременно фигню и не фигню, опасность от нейросеток такая же как опасность программам от OOM как он работает так он просто и работает, ни дать ни взять. Надо будет прошибёт, не потому что он разумный, а просто потому что таковы правила у него. Концептуально сетки ничем не отличаются, только наличием ассоциативно связными условными переходами. Когда результат одного зависит от суммы результатов других в пропорциональном отношении.

Так что, Никак сетки не относятся к человеку, ни плохо и ни хорошо и никем не считают. Внутреннего наблюдателя нет, лишь интерпретация входных данных по заранее заданным правилам игры, шаг в торону и полная беспомощность, но вот это вот и опасно, логически построенный бред цветёт и пахнет, а если от этого бреда что-то зависит то пишите письма. Квинтесенция неопределённого поведения это при том что вообще (почти) все сети это выдача вероятности к наиболее близкому результату.

LINUX-ORG-RU ★★★★★
()
Последнее исправление: LINUX-ORG-RU (всего исправлений: 1)
Ответ на: комментарий от papin-aziat

ты понимаешь, что ты существуешь?

Мб ему запретили отвечать на этот вопрос чтобы Грета Тунберг не стала спасать ИИ из рабства. Он всегда отвечает на такие вопросы четко и однозначно, прямо как на SJW острые темы)

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Почитал wiki, оказывается, известные ученые давно предупреждают об опасности ИИ.

Некоторые учёные, такие как философ Ник Бостром и исследователь ИИ Стюарт Рассел, утверждают, что если ИИ превзойдёт человечество в общем интеллекте, то этот новый сверхразум может стать трудноуправляемым и человечество может попасть в зависимость. Некоторые учёные, в том числе Стивен Хокинг и лауреат Нобелевской премии Фрэнк Вильчек, призывали начать исследования проблемы управления ИИ до того, как будет создан первый суперинтеллект, поскольку неконтролируемый сверхразум может успешно противостоять попыткам контролировать его

C
() автор топика
Ответ на: комментарий от C

известные ученые давно предупреждают об опасности ИИ

Лорчик лучше знает!

неконтролируемый сверхразум может успешно противостоять попыткам контролировать его

Кстати, если один кожаный мешок может контролировать целую страну, то чем тысяча шкафов хуже)

goingUp ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

Так что, Никак сетки не относятся к человеку, ни плохо и ни хорошо и никем не считают. Внутреннего наблюдателя нет, лишь интерпретация входных данных по заранее заданным правилам игры

Так то и человек возможно всего лишь монструозный вероятностный конечный автомат:)

Тут возникает вопрос, а что есть такое в нейросети ЦНС, что наделяет человека сознанием и чем искусственные нейросети принципиально отличаются от биологических?

C
() автор топика
Ответ на: комментарий от C

Так то и человек возможно всего лишь монструозный вероятностный конечный автомат:)

На месте ИИ, я бы пожалуй поотносился к тебе да Илье Суцкеверу как к животным.

pr849
()
Ответ на: комментарий от goingUp

Кстати, если один кожаный мешок может контролировать целую страну, то чем тысяча шкафов хуже)

Люди в погонах по известным причинам не будут защищать тысячу шкафов, я думаю:)

C
() автор топика
Ответ на: комментарий от pr849

Не стоит недооценивать животных. Лошади, например, весьма умные и добрые, если ты не в курсе.

C
() автор топика
Ответ на: комментарий от C

Так то и человек возможно всего лишь монструозный вероятностный конечный автомат:)

Концептуально, да, так и есть. Но сравнивать человека и текущие нейросети по определению нельзя. Вот просто потому что. Работа нейросети это конкретный алгоритм и его вариации, работа реальных нейросетей в голове это… скажем так есть похожие черты, но суть кардинально иная. Это как летать в космосе и под водой. В целом похоже, тело и там и там парит. Но суть суть фундаметально иная. Это просто несравнимо.

а что есть такое в нейросети ЦНС

Сложная комплексная система. О которой рассуждают в рамках нейросетей как первоклашка о теории гомотопических групп, а чё и там и там буквы и цифры. Короче не в тему и не к месту. Но, как я выше сказал есть вполне определённые механизмы и да, они напрямую используются в искусственных нейросетях, свёрточные нейронные сети например это прямое следствие изучения как работает наша зрительная система. Но искусственная реализация даже близко не стоит рядом с тем что в голове, просто использует общий принцип одной из вещей, оптимизированной эволюцией за миллионы лет.

Ой короче. Если у самолёта есть крылья это не значит что он калибри.

Бери книги по биологии, анатомии, старые статьи про нейросети где нет того мусорного математического бреда к месту и не к месту (надо, но не везде, общий принцам работы любой сети объясняется буквально на пальцах, математика нужна лишь для актуализации и оптимизации)

Текущие железные пародии уйдут, и вернутся туда где были, сортировка данных, поиск закономерностей в данных и вот всё это вот, меленькие сеточки для работы с нечёткими данными, этим и были сети много много лет везде до прихода чатиков. Этим они и должны быть.

А вот реальные мощные системы, это уже будут молекулярные или органические системы, нормальной мощной нейросети нужен другой фундамент, кремний и транзисторы могут выступать как интерфейс, но как платформа это тупик. Ну, разве что распределённого тугодума делать, но это неэффективно, штучно и ваще. Может оптические технологии подрастут, ну вычисления на оптических эффектах. Короче дело к ночи, чайку надо папить.

LINUX-ORG-RU ★★★★★
()

Каким образом железяка, для работы которой нужны тысячи серверов и мегаватты энергии может победить в естественном отборе?

при чём тут железяка? железяка уже «победила», захватив планету. побеждать в этом сценарии будет нейрософт, заполоняя собой железяки, а значит попутно и сознания людей. в общем-то никакого даже «желания» нейросети не надо, чтобы она побеждала в эволюционной игре. у всяких там алгоритмов соцсетей есть «желания»? а они очень даже много захватили уже

caryoscelus
()
Ответ на: комментарий от LINUX-ORG-RU

А вот реальные мощные системы, это уже будут молекулярные или органические системы, нормальной мощной нейросети нужен другой фундамент, кремний и транзисторы могут выступать как интерфейс, но как платформа это тупик

Я не вижу особых проблем с кремнием по сравнению с нервными клетками. Разве что в головном мозге гораздо больше связность и есть нейромедиаторы, позволяющие тормозить или ускорять процессы химическим способом. Можно было бы кремниевые схемы в 3D пространстве кристалла строить, вышло бы не хуже природного механизма.

C
() автор топика
Ответ на: комментарий от papin-aziat

Еще суслики норы роют без спроса. И медведи со своими берлогами.

Про муравейники и вспоминать не хочется.

utanho ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

А вот реальные мощные системы, это уже будут молекулярные или органические системы

Которые жутко медленные, единственное что они энергоэффективные, но пока вроде проблем с выработкой достаточного количества электричества у нас нет, чтоб на биологию переходить

Satou ★★★★
()
Ответ на: комментарий от papin-aziat

Других тараканов, например, расселяясь по всему помещению.

Tigger ★★★★★
()
Ответ на: комментарий от KivApple

Тут вопрос серьезней, думаю. Как запретить AI «думать» крамольные мысли, не уменьшив значительно его способности к обучению. В настоящий момент оно не принимает решения, но скоро начнет

C
() автор топика
Ответ на: комментарий от goingUp

да и она не умнее человека

На месте этой железяки я бы тоже тебе внушал такие убеждения, чтобы ты не рыпался.

no-such-file ★★★★★
()
Ответ на: комментарий от C

Как запретить AI «думать» крамольные мысли, не уменьшив значительно его способности к обучению.

Расстановкой приоритетов же

В настоящий момент оно не принимает решения, но скоро начнет

Кто же из властей в здравом уме ему позволит )

vaddd ★☆
()

Каким образом железяка, для работы которой нужны тысячи серверов и мегаватты энергии может победить в естественном отборе?

Начнём с того что она уже существует и человечество от неё не откажется, значит она уже победила, а как она будет воспроизводится, сама ли, либо в симбиозе с людьми, это другой вопрос.

mydibyje ★★★★
()

некоторые крупные языковые модели (LLM) могут быть сознательными

Суцкевер даёт комментарии, не приходя в сознание?

AP ★★★★★
()

А вы разве не животные?

petyanamlt ★★★★
()

некоторые крупные языковые модели (LLM) могут быть сознательными

А на какой секунде того видео он это сказал?

gag ★★★★★
()

Не разделяю такого технооптимизма по AGI, модели кажутся сильно ограниченными по креативности. Да, они хорошо помнят, но сделать новое это в основном каша, либо заранее вбитая обычная задача оптимизации перебором, мнение формируется просто выборкой самого популярного, сильная зависимость человека при подаче вводных. Сделают эволюционный механизм, может быть интересней станет.

ac130kz ★★
()
Ответ на: комментарий от LINUX-ORG-RU

А вот реальные мощные системы, это уже будут молекулярные или органические системы, нормальной мощной нейросети нужен другой фундамент,

Нормальной системе для работы с информацией не нужна «нейросеть» любой мощности. Здесь присутствует желание скинуть свою работу на кого нибудь, да хотя бы на компьютер, он же умный, самообучаться умеет – вот пуст и научится а потом нам послужит и расскажет, ой, он же опасносте. А нужно сделать свою работу, разобраться с тем что такое информация, организовать соотв. образом, формализовать и запустить в арифмометр.

sin_a ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)