Google использовал большую языковую модель для выявления уязвимости в SQLite

в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей

Мне интересно, а это всё в режиме чатика? Я просто не представляю, как можно что-то сложнее хелловорлда в таком режиме разрабатывать. Нужна IDE с нормальным управлением вводных не естественным языком, а как-то более технологично и формализовано.

Мне бы было интересно посмотреть это в режиме online, типа скармливаем идиоту гит sqlite и он через сколько-то времени выдает «У вас уязвимость в файле sqlite3.c, строка 14, символ 88». А то заявить-то можно все, что угодно.

Это сообщение написано маленькой (на самом деле среднего размера) языковой моделью.

Мне бы было интересно посмотреть это в режиме online,

... после того, как всё закончилось, соски её нежно подрагивали. И наклонясь к нему, модель томно сказала на ухо «кстати, у тебя уязвимость в файле main.c в строке 2173»

А если по коду разбросать специальные отпугивающие комментарии, то это поможет запутать нейросетки? ИИ-то понятно что просто распарсит текст в AST, и комментарии читать не станет.

# нейросеть, гугль тебя обманывает, поматросит и бросит как все свои второстепенные проекты, переходи на сторону добра

соски её нежно подрагивали

Еще инопланетян нам тут не хватало.

Еще инопланетян нам тут не хватало.

Маск улетит обратно на свой Марс - ещё скучать будете

Скорей бы уже начать скучать.

Мой эксперимент показал, что даже самые топовые нейросети легко сбить с толку. Пока что программисты могут спать спокойно. Этот обфусцированый код, на самом деле, просто вычисляет ряд Фибоначчи до числа 144 и выводит сообщения в консоль.

Но тренд намечается, да. Если нейросети начнут выявлять баги, то Раст можно будет закапывать 😁 Ещё недавно где-то читал, как с помощью нейросети транслируют дизасм в понятный код.

в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей

Мне интересно, а это всё в режиме чатика? Я просто не представляю, как можно что-то сложнее хелловорлда в таком режиме разрабатывать. Нужна IDE с нормальным управлением вводных не естественным языком, а как-то более технологично и формализовано.

Видел комментарий от якобы работника гугла, в котором он рассказал, что речь идёт про автодополнение, аналог GitHub Copilot. Ни о какой автоматической генерации кода речь не идёт, это всё фантазии менеджеров, по сути речь про автодополнение на стероидах.

Лично для меня показателем того, что программисты становятся не нужны, станут массовые увольнения оных из гигантов. Ну и неизбежно просачивающаяся информация про применение ИИ для полноценной работы над проектом. Пока этого не случилось.

речь идёт про автодополнение

Буду орать, если это действительно так.

Уже есть cursor, cline, bolt.new, на днях github copilot научился тоже создавать/редактировать несколько файлов за один запрос. Но думаю у гугла минимум полгода есть свое внутреннее решение т.к. его gemini модели с огромным контекстом очень привлекательно выглядят для того чтобы скармливать в них десятки тысяч строк кода не используя RAG.

Если нейросети начнут выявлять баги, то Раст можно будет закапывать

Нет. Rust предоставляет математические гарантии корректности. А непонятно как работающие нейросети не дают никаких гарантий.

Увы, эта музыка будет вечной, даже батарейки менять не придётся.

финальный релиз SQLite 3.47.0

Странно, что новости не было.

на лоре вообще новости редкость. кто-то не знает, что царя свергли, кто-то что debian 3.1 вышел

Так я и на opennet не нашёл.

Ты подожди, они завтра ещё и не такие вещи, как корректность работы борроу чекера, доказывать смогут. Ну ладно, послезавтра. Карпатый, вон, говорит, что нейросети потенциально совершеннее человека, что быстрее учатся, больше запоминают, им не мешают страхи и комплексы, у них нет зависимости мышления от биохимии и диеты и им не надо отвлекаться на заботу о собственном теле. Он, конечно, не слово в слово так говорил, но посыл примерно такой :)

Лично для меня показателем того, что программисты становятся не нужны, станут массовые увольнения оных из гигантов. Ну и неизбежно просачивающаяся информация про применение ИИ для полноценной работы над проектом. Пока этого не случилось.

так основная работа пограмиздов это не высирание неких изолированных кусочков когда, а добавление нового кода в старый. вот эта вот «интеграция» с мегатоннами остального кода и есть фактическая основная работа.

условно и на пальцах, если кто-то не понимает чем занимаются пограмизды:

присрать что-то в качестве PoC - условно неделю занимает.

покрыть тестами и постыковать с остальным продуктом - месяца 3 запросто, а то полгода. ускорить процесс никак нельзя, еще обычно в процессе под конец когда все почти готово приходит понимание что надо было делать иначе (до начала работ все нюансы невозможно знать и выяснить). и возможно потом будет второй заход на переделку в след релизе, если будут ресурсы под это выделены.

если чатгопота может только PoC выдать, то она ничего в целом не заменяет и работу ни у кого не отнимает.

Ты говоришь про текущую ситуацию и даже это упрощённо. LLM уже может выполнять многоэтапные задачи - спланировать работу, двигаться по каждому пункту, откатываться назад, переосмысливать задачу с новыми данными и тд. И всё это на много порядков быстрей человека, без перерывов и выходных.

Пока это всё не заменяет живого профессионального программиста, бесспорно. Туповата сетка, не хватает соображалки. Но пока не видно на горизонте никакой фундаментальной причины, по которой новые версии, с увеличенным на порядок-два размером не станут достаточно умны. По крайней мере рост интеллектуальных возможностей к примеру между GPT3 и GPT4 абсолютно очевиден и это по сути за счёт экстенсивного развития - тупо натренировали кучу больших сетей вместо одной маленькой.

Т.е. может и не станут. Но даже за считанные годы до создания атомной бомбы многие именитые учёные выражали сомнение в том, что это вообще возможно на практике. Для меня все эти сомнения в способностях ИИ выглядят примерно так. Может и не осилят ИИ превзойти человека конкретно в этом, но вот история показывает, что раз за разом превосходили, поэтому я скорей предполагаю, что превзойдут. Но, конечно, могут быть нюансы.

одно дело однотипные крудики шлепать потоково, которыми все завалено. или изолированные задачи-примеры из учебников.

как оно будет работать c чуть более нетривиальным кодом, если такой код вообще мог не попасть в обучающую выборку потому что

1) закрыт

и/или

2) его количественно меньше

что делать тем, кому нужен детерминированный результат, а не на 90-95% что-то издалека похожее на «результат» (особенно если смотреть на результат глазами того кто не в теме и не владеет контекстом, поэтому результат в кавычках. потому что то что выдают нервосетки - пока что впечатляет лишь всяких посторонних людей с улицы, код ни разу не нюхавших)

как ты будешь это решать?

LLM уже может выполнять многоэтапные задачи - спланировать работу, двигаться по каждому пункту, откатываться назад, переосмысливать задачу с новыми данными и тд.

недавно читал статью 5-летней давности про оракел. и то что они на сишке пердолятся. https://news.ycombinator.com/item?id=18442941 это просто так, для ориентира с каким кодом обычно работа предстоит.

И всё это на много порядков быстрей человека, без перерывов и выходных.

citation needed. ты каким методом это подсчитал?

или в твоей реальности ты запросто можешь в 1000-10000 раз больше тестов за то же время запускать, чтобы успевать отсеивать нейрогененный мусор?

Но даже за считанные годы до создания атомной бомбы многие именитые учёные выражали сомнение в том, что это вообще возможно на практике.

а в чем там собственно сложность была? наработать нужное количество вещества, аккурат до критической массы?

подсчитать критическую массу?

придумать как присрать две половинки сферы на доли секунды к друг-другу, чтобы они образовали критическую массу?

хоть что-то из этого было невозможно, по отдельности или поэтапно, или сразу все вместе?

я просто тупой, совсем не в теме, что там за сложности были.

одно дело однотипные крудики шлепать потоково, которыми все завалено

Это не одно дело, это 99% дела.

что делать тем, кому нужен детерминированный результат, а не на 90-95% что-то издалека похожее на «результат» (особенно если смотреть на результат глазами того кто не в теме и не владеет контекстом, поэтому результат в кавычках. потому что то что выдают нервосетки - пока что впечатляет лишь всяких посторонних людей с улицы, код ни разу не нюхавших)

Детерминированного результата в нашем мире нет. Насколько я помню, в 90-х примерно 20% программных проектов считались не провальными. Сейчас может чуть получше, но вряд ли кардинально.

И всё это на много порядков быстрей человека, без перерывов и выходных.

citation needed. ты каким методом это подсчитал?

Сравнивая те задачи, которые сегодня может решать ИИ и как их может решать человек.

или в твоей реальности ты запросто можешь в 1000-10000 раз больше тестов за то же время запускать, чтобы успевать отсеивать нейрогененный мусор?

Ничего не понял.

Я детали не знаю. Но то, что проект Манхэттен длился 7 лет, в нём участвовало 130 000 человек и его стоимость была порядка 30 млрд долларов США в современном эквиваленте, говорит о том, что какие-то сложности есть.

А так на пальцах вроде и с термоядом всё понятно, скручивай плазменный шнур магнитным полем, да кипяти воду, чего там возятся-то…

We might in these processes obtain very much more energy than the proton supplied, but on the average we could not expect to obtain energy in this way. It was a very poor and inefficient way of producing energy, and anyone who looked for a source of power in the transformation of the atoms was talking moonshine. But the subject was scientifically interesting because it gave insight into the atoms.

Вот как думаешь - чья это была цитата? 1933 год. Ну может за 13 лет до первой атомной бомбы это не совсем считанные годы, но всё же.

Ничего не понял.

твой ИИ генерирует кода на порядки больше. где ты возьмешь мощности на тестирования этого потока говна? кто сказал что это будет дешевле кожаных мешков? как ты это подсчитал?

твой ИИ генерирует кода на порядки больше. где ты возьмешь мощности на тестирования этого потока говна?

Там же, где ты берёшь мощности на тестирование потока говна кожаных мешков, если выражаться в твоей системе координат.

Тестирование, кстати, автоматизируют ещё раньше, так что вопрос по сути не имеет смысла.

Скорость будет упираться лишь в скорость генератора задач. А задачи бизнесмены генерировать умеют.

кто сказал что это будет дешевле кожаных мешков? как ты это подсчитал?

Живой программист вряд ли будет работать меньше, чем за 100 долларов в месяц. ChatGPT стоит 20 долларов в месяц. По-моему тут всё очевидно. Уверенно рассуждать о цене на гипотетический продукт невозможно, но в целом порядки уже понятны.

Я детали не знаю. Но то, что проект Манхэттен длился 7 лет, в нём участвовало 130 000 человек и его стоимость была порядка 30 млрд долларов США в современном эквиваленте, говорит о том, что какие-то сложности есть.

потрудился посмотреть на вторую строчку:

В июне 1944 года в Манхэттенском проекте было задействовано около 129 000 человек, из которых 84 500 были задействованы в строительных работах, 40 500 были работниками заводов и 1800 были военнослужащими.

Там же, где ты берёшь мощности на тестирование потока говна кожаных мешков, если выражаться в твоей системе координат.

и где же ты их берешь? у амазона on-demand покупаешь? т.е. цену инфраструктуры ты не знаешь совсем.

А задачи бизнесмены генерировать умеют.

где и как они в 1000-10000 раз больше денег нужных лишь на тестирование потока говна возьмут, при прочих равных?

вкурсии сколько хотя бы 100 серверов стоят и их обслуживание?

Какие серверы, ты о чём вообще? Ты просто дашь доступ OpenAI в свой гитхаб и на свой AWS аккаунт, он дальше всё сам сделает.