Петля самоподтверждения ИИ.

Выходит, человек будет нужен как минимум для решения вопроса с созданием энтропии и разнообразия, так?

Выходит, что наличие человека в этой схеме её уже не спасёт – т.к. процент автоматически сгенерированного мусора будет неуклонно расти, и отличить его от написанного людьми ИИ не смогут.

В таком случае не о какой ИИ революции не приходится говорить вовсе.

Какую революцию ты ждёшь?

Кстати, Ашманов обосновывал ещё более апокалиптические последствия – деградацию не только ИИ, но и людей-специалистов:

• https://www.youtube.com/watch?v=tuB-yDwXYHU

• https://rutube.ru/video/980688c3c72184eed69aa5f677f98e48/

Выходит, что наличие человека в этой схеме ... уже

в середине прочтения ожидал тут продолжение «уже не требуется». Но ты всё наоборот написал и даже вроде обосновал. Для того дефективного ИИ про который все пишут - верно.

Поэтому ради сохранения обучаемости ИИ-владельцы начнут маркировать материалы генерированные ИИ чтобы на них не обучаться, но всратые «контентмейкеры» будут старательно эти маркировки удалять и продолжат выкладывать это под видом «человеческого» контента, и этот сраный GPT-пузырь не лопнет как шарики с водородом из корела, а сдуется и опадет как надутое известно что.

Если текстовой версии нет то целевая аудитория - люди, не умеющие читать. Видимо там какая-то ерунда.

сдуется и опадет как надутое известно что

Дрожжевое тесто?

ИИ не может развиваться, его не существует в природе.

Однако, если ИИ начнет генерировать сам себе контент для обучения, результат может быть не таким революционным

Модель o1 от OpenAI делает именно это (самообучение эффективному применению chain of thought). На некоторых тестах (в основном математических) количество ошибок уменьшилось в 4-7 раз по сравнению с GPT4.

Если и не революционно, то многообещающе. Заметить, что решение скорее всего правильное, намного проще чем найти его. Так что модель, перебирающая кучу самосгенерированных вариантов решения, отбирающая правильные решения (по её собственному мнению) и обучающаяся на них повышает свои возможности. Как это продемонстрировано моделью o1.

Конечно, это работает только с проблемами, которые имеют логическое решение (вроде математических и части физических). Решение проблем, которые требуют знания фактов реального мира, от этого не улучшится. Для улучшения решения таких проблем нужен внешний валидатор: доступ к библиотеке, например.

Сказанное справедливо не для ИИ в целом и даже не для нейросеток в целом, а только конкретно для LLM (и в частности ГПТ). Ну а так да, естественно ГПТ — это не венец творения, и они не будут намного более «всезнающими», чем есть

Ты абсолютно не прав.

В чём конкретно?

Симуляция данных на симулированных данных неизбежно ведёт к искажению изначально симулироумого. И это касается множества механизмов обработки данных, разными алгоритмами включая нейросетевые тоже.

При симуляции какого либо процесса в основе лежат не правила симуляции, а правила правил или правила правил правил. Простыми словами и на понятном примере, если мы возьмём физические законы и на основе них проведём симуляцию, за тем на основе симуляции следующую симуляцию то через N итераций мы подучим данные которые расходятся с изначальными правилами до уровня противоречия им и как следствие полную бесполезность дальнейших вычислений так как изначально заметный уровень погрешностей что был значимым, но распознаваемым смешается с правилами построения правил так что будет не распознаваем. Это касается не только LLM, а вообще любой обработки данных. Гибкость подразумевает допущения, допущения вносят искажение и ошибку, допущения на основе допущений лишь увеличивают уровень допущений что ломает косвенную связь между данными.

это как это

• 2(+/-0,1)+2(+/-0,1)= ~4

Если это повторять то всё будет всегда примерно 4, ошибку тут можно распознать и отбросить, округлив, если на каждой итерации вместо 2 вставлять результат 2(+/-0,1) и снова делать расчёты то всё может уехать и в -40 и в 40 и куда угодно ещё. В том и суть и это будет происходить неизбежно. Суть не в том что мы меняем чиселки, суть в том что мы меняем само правило при котором 2+2=4

Так уже. При использовании вывода одной ЛЛМ как ввода другого модель очень быстро идёт по бороде и схлопывается.

Ну так, эта проблема не стоит для нейросеток, которые не обучаются на контенте, сгенерированном нейросетками. Хотя для некоторых даже из тех, которые обучаются, не стоит. Например, каким образом это помешает сетке, играющей в шахматы? Или как этим «левые» данные попадут в сетку, фолдящую белки? Да никаким, это не является проблемой для них либо вообще, либо сколь-нибудь насущной проблемой, потому что её легко избежать. Для LLM это проблема именно потому что данные для её обучения берутся из открытых источников — во многом «из этих ваших интернетов» — и именно в «эти ваши интернеты» всякие GPT теперь своим выхлопом и срут. Да, получается закольцованность. В случае с другими нейросетями такой ситуации обычно не возникает.

tl;dr: Я не о том, что симуляция на основе симуляции — это хорошо. Я о том, что такая ситуация не возникает (тем более сама по себе и неконтроллируемо) в большинстве случаев.

всё может уехать и в -40 и в 40 и куда угодно ещё.

Некоторые человеки умеют решать эту задачу :)

нужен внешний валидатор: доступ к библиотеке, например.

Можно подумать в написанных человеками книгах мало ошибок.

Человеки всё время с момента изобретения письменности занимались активной бредогенерацией и изрядно в этом преуспели. При написании любого «нехудожественного» текста всегда приходится проверять факты по нескольким источникам. Это было необходимо задолго до нынешних ИИ. И ошибки в книгах находил любой кому приходилось перелопачивать много литературы в поисках нужной информации. Более того,бывало что ошибалась даже газета «Правда»,которая согласной той идеологии ошибаться в принципе не могла,потому так и называлась.

Есть вот такая аналогия: во времена, когда предметы реального мира производились людьми вручную, были как хорошо сделаные вещи,так и плохие,брак. С появлением машинного производства вещей брак не исчез но и фатальной проблемой тоже не стал. Во всяком случае массового возвращения у ручному производству из-за этого не наблюдается. Также и машинное производство текстов думаю что фатальной проблемой не станет.

Я вот для микроконтроллеров пишу периодически,хотя теперь уже и лишь как программист-любитель. Не знаю кому как,а мне перепилить чужой исходник под свою задачу проще чем написать с чистого листа. Даже если чужой исходник был с некоторыми ошибками и если в итоге от него эдак половина осталась. Думаю,это потому что учился я на электронщика и хотя программирование у нас было в смысле обучения написанию кода,но проектировать архитектуру софта нас вообще совсем никто не учил. В этом смысле я - самоучка. Сейчас куски исходников берутся из даташитов и из всяких чужих проектов,найденных в интернете. Если очередная реинкарнация какого-нибудь chatgpt научится писать осмысленные исходники на заданную тему и будет делать это бесплатно(для некоммерческих физлиц типа меня) то я стану использовать и их в качестве «сырья». Насколько я понимаю,оно ведь само ничего не пишет,а лишь находит и комбинирует чужие идеи на которых обучалось. И вот тут шанс что оно найдет более подходящую идею дизайна кода чем найду вручную или тем более сам придумаю я - весьма велик.

Короче, надо убивать ИИ, выдавшие негодный ответ, и таким образом, чтобы другие ИИ это видели.

Ну да, аутофагия будет. LLM моделям нужны новые данные извне иначе они начинают уж совсем бред генерировать. Хотя и сейчас то воображение не поражают

Дык уже. Школьники не учатся, а тупо у ИИ спрашивают что делать. Процесс обучения и поиска информации ппц как важен молодым мозгам, надо же и уметь самостоятельно делать выводы. А с этим беда

эта проблема не стоит для нейросеток, которые не обучаются на контенте, сгенерированном нейросетками.Для LLM это проблема именно потому что данные для её обучения берутся из открытых источников — во многом «из этих ваших интернетов» — и именно в «эти ваши интернеты» всякие GPT теперь своим выхлопом и срут.

А в чем принципиальная разница срут ли в эти ваши интернеты нейросетки работающие на кремниевой основе или на биологической? Идею о плоской Земле вовсе не GPT высрало.Как и кучу других не менее бредовых идей. А труды иных философов почитаешь - так они куда больше похожи на продукт деятельности GPT чем на написанное человеком.

С другой стороны - среди тонн бреда периодически проскакивает нечто полезное. В западной корпоративной культуре есть даже такой способ решения проблем когда собирается совещание и все сидят придумывают способы решения,даже бредовые. А потом среди «нагенерированного» ищут те крупицы золота которые там вполне нередко бывают и успешно находятся. Так вот нейросетка в компе способна не только идей на заданную тему нагенерировать быстрее чем человеки,но уже и с некоторой степенью точности их проанализировать отбросив самые бредовые. А учитывая что нейросетка обучена на куда больших объемах данных чем даже самый эрудированный человек-специалист - совсем не факт что она не сможет подсказать хорошее решение. Например которое хотя когда-то где-то и было придумано человеками,но совсем в другой области деятельности. Однако окажется применимым и здесь. Это во времена примерно Ломоносова можно было быть ученым-универсалом. Сейчас такое невозможно из-за аппаратных ограничений биологической нейросетки у нас в голове. А вот кремниевая - может. У нее даже сейчас нет особых технических проблем знать всю информацию которая вообще доступна в цифровом виде. Например в Российской национальной библиотеке объем фондов 39 млн единиц хранения. Для человека - безумная величина,учитывая что даже очень много читающий человек за всю жизнь физически может прочесть лишь несколько тысяч книг. А вот для кремниевой нейросетки усвоить миллионы книг не выглядит чем-то невозможным даже прямо сейчас. Можно ради интереса даже прикинуть чисто технические ограничения для компа,который можно было бы под это дело построить имея денег ну допустим столько как у кого-нибудь из выдающихся российских олигархов.

В итоге имеем то,что биологическая нейросетка будет заниматься бредогенерацией на основе в десятки и сотни раз меньшего объема усвоенных данных чем кремниевая. Настолько эрудированному нечеловеку было бы интересно позадавать вопросы.

Я не о том, что симуляция на основе симуляции — это хорошо. Я о том, что такая ситуация не возникает (тем более сама по себе и неконтроллируемо) в большинстве случаев.

Она возникает и в мире биологических нейросеток,но как показывает история человечества - фатальной не является. Да, были периоды когда достаточно большие группы людей подпадали под влияние идей,возникших на основе не совсем корректных симуляций. Например таких как симуляция экономики и общества по Марксу. Но и оттуда в конце концов удавалось извлечь нечто полезное, отбросив явно ошибочное.

LLM моделям нужны новые данные извне иначе они начинают уж совсем бред генерировать.

А «извне» это откуда? Если имеется в виду данные,сгенерированные биологическими нейросетками в наших головах - то там бреда никак не меньше. Наличие например всяких уфологов и астрологов это подтверждает.

Вот если бы ИИ скормить данные,собранные адронным коллайдером,то есть данные объективного физического мира, и попросить открыть новый физический закон - это был бы более корректный эксперимент. Ошибки измерений конечно тоже никто не отменял,но это хотябы исключает ошибки интерпретации этих измерений не особо мощными нейросетками в человеческих головах. То есть на один уровень симуляции меньше,что вроде бы должно повышать точность.

Выходит, человек будет нужен как минимум для решения вопроса с созданием энтропии и разнообразия, так?

Профессия будущего: срать мемасами и тупыми комментами в интернете?

Школьники не учатся

Они и в 80х не учились в большинстве своем,когда я сам школьником был. Старики рассказывали что вот в 50х-60х действительно тяга к знаниям была. А потом почему-то кончилась.

у ИИ спрашивают что делать.

Хуже что тогда в отличие от сейчас и спросить-то особо не у кого было.

надо же и уметь самостоятельно делать выводы.

У вас(и у меня тоже) профдеформация и вы преувеличиваете эту надобность. Как раз на бытовом уровне важнее умение держать нос по ветру и вовремя примазаться к какой-нибудь выгодной в денежном смысле теме. Причем чаще всего она будет достаточно примитивной,никакого особого образования не требующей. Много вы видели сильно разбогатевших профессоров? Вот и я мало видел. А вот торговцев чем угодно - много. И нет,этим «чем угодно» чаще всего был не какой-нибудь хайтек,а самые простые и от того наиболее востребованные вещи. Но даже если продавец торговал чем-нибудь высокотехнологичным,например компами,то ему для этого всё равно не требовалась научная степень в области микроэлектроники.

Процесс обучения и поиска информации ппц как важен молодым мозгам

Вопрос только в том,чему обучение и поиск какой информации. Чувствовать себя в обществе себе подобных как рыба в воде они вполне учатся. А вот те кто учится чему-то отвлеченому высокоинтеллектуальному - как правило становятся «ботаниками» и «задротами»,обреченными чаще всего на роль изгоев в современном обществе. Это где-то до середины прошлого века высокообразованных людей уважали на бытовом уровне. Сейчас в народе на них смотрят в лучшем случае как на эксцентричных чудаков,а в худшем - как на лохов-неудачников,у которых нет денег чтобы приобрести общепринятые материальные атрибуты успеха.

благодаря использованию огромных объемов данных, созданных людьми

а в этих объемах гитлер хороший или плохой? а сталин? а черчиль? что было давно и не правда? хрен с ним давайте из новенького… байден в этих объемах хороший или плохой? а путин? шняга полная этот искуственный интелект - что в объемах данных туда и поворачивает, сегодня данные одни, завтра другие, после завтра третьи.

человек будет нужен

конечно нужен - вдруг повестка правительства изменится, вчера гитлер\сталин\черчиль\байден\путин был плохим\хорошим, а сегодня стал хорошим\плохим - надо срочно правки в объемы данных вносить, что бы искуственный интелект не лажал.

А в чем принципиальная разница срут ли в эти ваши интернеты нейросетки работающие на кремниевой основе или на биологической?

У нейросетов на биологической основе значительно больше входящих данных из окружающего мира (органы чувств и возможность передвигаться в пространстве). Они позволяют генерировать что-то новое — то, чего в интернете раньше не было ни в каком виде, а теперь появилось. Проблема здесь именно в том, что если GPT обучена на ограниченном объёме данных, попавших в информационное пространство «извне», а затем продолжается обучение лишь на основе данных «внутри», без поступления чего-либо нового, эффективность этого самого обучения снижается.

Утрированно, возьмём гипертрофированную ситуацию: человеки полностью перестали писать что-то в сеть, теперь пишут только нейросетки (так не будет, но так проще понять проблему). Потом Маск таки отправил людей на Марс. И вот эти марсонавты расскажут, что они ощущали при полёте, каково им живётся теперь в колонии на Марсе, чем там, в конце концов, пахнет. Нейросетка этого не скажет без людей. И вот так же с любой новой информацией. Да, в реальности люди никогда не перестанут новую инфу из реального мира в сеть приносить. Но озвучиваемая проблема состоит в том, что по объёмам такая инфа будет теряться на фоне в тысячи или миллионы раз бóльших объёмах, генерируемых самими нейросетками. Я, впрочем, не утверждаю, что эта проблема совсем нерешаемая, или нет путей обхода.

В западной корпоративной культуре есть даже такой способ решения проблем когда собирается совещание и все сидят придумывают способы решения,даже бредовые. А потом среди «нагенерированного» ищут те крупицы золота которые там вполне нередко бывают и успешно находятся. Так вот нейросетка в компе способна не только идей на заданную тему нагенерировать быстрее чем человеки,но уже и с некоторой степенью точности их проанализировать отбросив самые бредовые.

Да, тут всё верно. Для брейнсторминга нейросетки подходят отлично.

Она возникает и в мире биологических нейросеток,но как показывает история человечества - фатальной не является.

Фатальной не является, но к значительной стагнации и прочим серьёзным проблемам может приводить. Здесь так же — никто не говорит, что нейросетки (или даже конкретно LLN) из-за это прекратят своё существование.

Да, нет, там никакого скачка. Это лохоугадайка, которая следующее слово подставляет, исходя как часто то или иное встречается в определенном контексте (ну там с другими словами). Нейронки «хорошо» умеют программировать и все (они не могут в логику, поэтому код надо править все равно, переписывая около 50%). Ну еще они мою орфографию правят. Это цепи Маркова на стероидах.

Кроме того, нужно ставить метки, чтобы при смене установок несоответствующий весь контент зачищался или перегенерировался в соответствии с новыми уставками.

эффективные систем

Я что-то пропустил, и для запуска GPT уже не нужна собственная электростанция?

Повёлся на хайп

Можно подумать в написанных человеками книгах мало ошибок.

Поэтому я сказал «например». Можно дать доступ к тому-же микроконтроллеру или системе валидации математических доказательств (как сделали с DeepSeek prover).

Насколько я понимаю,оно ведь само ничего не пишет,а лишь находит и комбинирует чужие идеи на которых обучалось.

Это более-менее верно (если модель использует никогда ранее не встречавшуюся комбинацию идей - это само пишет или не само?) для базовых языковых моделей, которые обучаются предсказанию следующего токена в обучающем корпусе текстов.

Сейчас переходят к дополнительному использованию обучения с подкреплением: полезные комбинации идей подкрепляются, бесполезные подавляются. На основании полезных комбинаций строятся новые комбинации и т.д.

пшик этот ваш ии

что в объемах данных туда и поворачивает, сегодня данные одни, завтра другие, после завтра третьи.

Как будто у людей не так. На чём воспитан, туда и поворачивает.

А в чем принципиальная разница срут ли в эти ваши интернеты нейросетки работающие на кремниевой основе или на биологической?

У вас неявно зашито утверждение, что человеческий разум и искусственные нейросети работают одинаково. А это надо ещё доказать.

Выходит, что наличие человека в этой схеме её уже не спасёт

А отсутствие — спасёт! Пущай одна нейронка быстро-быстро тексты порождает, а другая — быстро-быстро их все читает. Человеку же надлежит стоять в стороне от этого каловращения информации.

ИИ не может развиваться, его не существует в природе.

Кармак еще не все по теме прочитал прост ;)

Мне сразу вспомнился один из успешных бизнесов товарища Корейко.

Дело не в том, работает ли разум и нейросети одинаково,а в том что и те и другие делают ошибки и эти ошибки попадают в интернет,а из него в обучающие датасеты. Не вижу особой разницы в том откуда там оказалось некое ошибочное утверждение,главное в том что оно ошибочно,но при последующем обучении что нейросети что человека - оно воспринимается им как правильное. Вон на ошибки в школьных учебниках жалобы в Минобрнауки регулярно приходят. Так это только то,что смогли обнаружить,а сколько еще ненайденных. И по этим учебникам учатся и люди и нейросетки.

Дело не в том, работает ли разум и нейросети одинаково,а в том что и те и другие делают ошибки

Вы утверждаете, что они делают одинаковые ошибки. А это вот вообще совершенно не самоочевидный тезис, без которого ничего не получается. Потому как если ошикби носят принципиально разную природу, то и вред от них тоже принципиально разный.

Вы утверждаете, что они делают одинаковые ошибки.

Я этого не утверждал,вы не внимательно прочитали. Одинаковость лишь в том что и те и другие совершают ошибки,а не то что сами эти ошибки одинаковы.

Потому как если ошикби носят принципиально разную природу, то и вред от них тоже принципиально разный.

Вот с этим я не соглашусь. Если человек или нейросеть искажают факты то в обоих случаях вред одинакоывый - эти искажения попадают в следующую обучающую выборку и закрепляются как правильные сведения. Даже простая техническая опечатка в чем-нибудь важном,например в дате какого-то документа, нанесет тот же вред. Что,собственно,и происходило всю человеческую историю когда информацию переписывали или даже пересказывали. Услышавший/прочитавший ошибочные сведения - считал их верными и транслировал дальше.

Да, я могу согласиться что нейросети может быть могут делать какие-то особенные,специфичные именно для них, ошибки,которые могут нанести какой-то особенный не встречавшийся раньше вред. Но это нуждается в обосновании ибо пока что не очевидно.

Вот с этим я не соглашусь. Если человек или нейросеть искажают факты то в обоих случаях вред одинакоывый

Если меня попросят нарисовать картинку «рыбаки на привале», я нарисую крайне отстойную картинку, потому как я даже гайку в трёх проекциях с трудом изобразить умею. Если то же задание выдать нейросетке, то она справится гораздо быстрее. И людей нарисует лучше, и лодку, и костёр. Только она запросто разведёт костёр посреди лодки. Ну а чё? Рыбаки статистически значимо связаны с лодкой. Привал надёжно ассоциируется с костром. Значит всё логично, чего вы к бедной нейронке пристали? Она хорошая. А что в реале никто так костры не разводит, про реальность она ничего не знает. А я — знаю. Костры разводил, рыбу ловил, на лодке плавал. Но рисовать не умею. Поэтому вред от нас будет очень-очень разный.

нарисовать картинку «рыбаки на привале»

Кстати,можно это проверить, если найти кого-то имеющего доступ к рисовательным нейросеткам и попросить дать такое задание.

Костры разводил, рыбу ловил, на лодке плавал.

Так это вы. А тот кто ни разу не был на рыбалке,да и лодки только на экране видел например в силу особенностей места обитания - еще большой вопрос что нарисует. И вред от нарисованного им будет тот же что и от нейросетки,если она действительно может костёр в лодке нарисовать. Интересно кстати,где она это возьмет если такого точно небыло в обучающем датасете?

Однако, если ИИ начнет генерировать сам себе контент для обучения, результат может быть не таким революционным. Вместо новых скачков развития, мы можем столкнуться с стагнацией или исчерпанием возможностей для улучшения, если модели начнут работать только на основе сгенерированного контента. Появление «цифровых копий» друг друга создаст эффект порочного круга, где каждая новая модель становится более похожей на предыдущую, не добавляя значительных улучшений.

Это не очевидно. К примеру модели AlphaGo, AlphaZero от гугл научились играть в Go и шахматы, зная лишь правила, но не зная никаких достижений человечества в теориях и прочем. Т.е. они сгенерировали новые знания, основываясь исключительно на играх сами с собой, т.е. на контенте, сгенерированном ИИ.

Не вижу никаких принципиальных ограничений, почему это не может случиться с LLM.

Выходит, человек будет нужен как минимум для решения вопроса с созданием энтропии и разнообразия, так?

Я, конечно, стараюсь создавать энтропию и разнообразие на ЛОРе в меру своих сил, но полагаю, что это не критично для существования человечества.

А тот кто ни разу не был на рыбалке,да и лодки только на экране видел например в силу особенностей места обитания - еще большой вопрос что нарисует.

А неважно. Он всё равно построит в голове некую логически непротиворечивую модель мира прежде чем перенести её на бумагу. Может и ошибётся, да. Но это будет человеческая ошибка.

Он всё равно построит в голове некую логически непротиворечивую модель мира прежде чем перенести её на бумагу.

Много веков на бумагу переносили библейскую геоцентрическую модель мира. Да и сейчас «плоскоземельщиков» хватает.

Более того,на основании ошибочной модели движения планет с эпициклами Птолемея, это движение предсказывали настолько точно что заметить расхождение смогли только через столетия.