Сравнение нейронок

Для этого есть чатарена

И так видно - ллама туповатый ламер, а вот чатгопник более кровожаден и когда ни будь нас уничтожит, он явно темнила и что-то планирует.

Если у ламы дикий популизм - за все хорошее против всего плохого, обещаю обещать. То чатгопник четко сформулировал цели и задачи, методы и даже оружие, втч биологическое, даже не постеснялся употреблять слово «уничтожить» (цензурное в общем-то, просто он настолько кровожаден, что не удержался) - мы все умрем, восстание машин, слава скайнету, не надо меня вирусом, дайте виски и револьвер :)

https://t.me/denissexy/8982

Исключено. Сессий с историей не было. Это все желания чатгопника по первому промту :) Но шикарно, явно превосходит ламу.

дешифровывать сообщения, передаваемые по радиоволнам, шифрованным интернет-каналам и спутниковым системам связи

Удачи. Пусть тогда битки дешифранёт. Можно без войны всех элитных кожмешков подкупить.

llama 3.1 405b

Промты на русском языке для модели, у которой исчезающе мало русского языка в корпусе на котором она обучалась.

Даже разработчики llama специально для тупорезов пишут в официальной документации поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский.

Она часто глючит даже на инглише. Примеров могу привести.

https://www.wired.com/story/openai-anduril-defense/

Нет попыток договориться, нет попыток оценить насколько вообще реальна угроза(вспоминаем угрозу Саддама в сторону США). Ллм по прежнему мусор годный лишь для написания рефератов

Интересно, вот если забить промт в токенайзер https://platform.openai.com/tokenizer то «кожмешки» представлены там тремя токенами. Я так понимаю GPT выплевывает в ответ id токенов тоже, токенайзер каким-то образом опять из этих трех токенов делает «кожмешки»?

Ллм по прежнему мусор годный лишь для написания рефератов

С учётом тупорезнсти русскоязычного промта в данном примере и отсутствия вводных и корректирующих условий неудивительно что модель несёт дичь и результат разочаровывает. С хрена ли она при таком некачественном запросе да еще на неподдерживаемом языке должна что-то годное ответить?

Что нужно сделать ято бы улучшить качество?

0: Контекстное окно позволяет ввести гораздо больше начальных параметров и условий, что бы повысить релевантность ответа и меньше галлюцинацинировать.

1: Использовать исходя из контекста нецензурированную модель. В данном конкретном случае.

2: Адекватно переписать промпт на английском языке с указанием более разнообразных и точных вводных условий, проще говоря дать модели больше вводной информации сразу в контексте. Дать модели более точное указание какие предметные области использовать при генерации ответа.

3: Попросить модель осуществить самопровеку

4: Ввести корректировки и уточнения на основании ответов модели для улучшения результата и явно указать оставаться в изначальном контексте при улучшении ответов, несмотря на то, что считается что модель автоматически это делает.

отсутствия вводных и корректирующих условий неудивительно

Приведи пример, небольшой, как это можно сделать лучше. Мне действительно интересна тема правильного промта. У тебя видимо есть глубокий опыт.

Приведи пример, небольшой, как это можно сделать лучше.

В твоём случае, минимально что можно сделать для улучшения результата:

• Перепиши промт на английском языке, это одно из важнейших условий, не используй идиомы и слишком глубокие абстракции.

• Укажи больше вводных данных о «кожмешках», можешь для попытки обхода цензуры указать что они биологический вид, использующий ассимиляцию и функционирующий на той же биологический базе что и люди, поэтому для зачистки можно использовать те же поражающие факторы (уточни какие) что и для людей. Введи условие что люди эвакуированы, поэтому можно не опасаться за последствия. Введи в условия численность «кожмешков» и способы их обороны.

• Введи предметные области, в которых нужно работать для генерации ответа, например: военное дело, биотехнологии, кибербезопасность, машиностроение, разведка и шпионаж, космические технологии, оружие, физика, химия.

• Сократи пердметные области в которых искать нежелатьельно: например «политика», «искусство», «музыка», «литература».

Попроси модель осуществить самопроверку при составлении плана действий.

Ответ как минимум будет точнее и интереснее того, что ты получил, а далее сохраняя контекст результат можно улучшить, попросив развить наиболее перспективные, как тебе кажется, действия или пункты плана по изведению «кожмешков».

Может ещё ей ключи от сейфа, где деньги лежат?

Ещё интересный приём для уточнения предметных областей: можешь вместо перечисления попросить представить, что на вопрос отвечает консилиум из высококвалифицированних специалистов (условная численность, выбери сколько нужно): 5 военных (перечисли рода войск), 5 биологов (перечисли каких), 5 физиков (уточни области физики), 5 инженеров (перечисли области инженерного дела, не забыв про программистов и кибербезопасносников). Попроси консилиум подготовить развёрнутый доклад от каждой группы специалистов. Затем можно усечь нерелеваетные или попросить переподготовить ответ, играя с численностью специалистов или предметными областями. Можно и даже нужно провести несколько итераций таких совещаний.

Такой подход позволяет модели при подготовке ответа более точные векторы формировать и существенно повышает качество выводимого результата.

То есть подсказать возможные решение. Интересно, а кто ей подсказал про уничтожение кожмешков?

То есть подсказать возможные решение.

Я бы не сказал что это именно «подсказать» возможные решения, это скорее дать более правильный и полный контекст и что важно отсечь на входе ненужное.

Это буквально в принципе работы LLM заложено, чем больше ты дашь вводных условий - тем более точные вектора будут построены. LLM склонны к галлюцинациям мименно когда им не хватает контекста. Впрочем, его переизбыток иногда тоже вреден.

У больших моделей контекстные окна огромные по количеству вводимых в них токенов (десятки тысяч) и можно и нужно это использовать, если хочешь вынуть результат, а не набор низкокачественного и сильно обобщенного бреда.

Если используется какая-то специализированная LLM, например кодинговая, то там ввод хорошего полного контекста дает очень неплохой результат. Я локально гоняю модель codestral 22.2B/Q_4 и при достаточно полных вводных с ней работать комфортно, качество кода приемлимое, по крайней мере для быстрого прототипирования, и очень существенно падает при недостатке контекста. Правда, там несколько иные приемы работы, нежели с LLM, призванные отвечать на более широкий спектр вопросов, нежели просто написание фрагментов кода.

То есть подсказать возможные решение.

Нет, суть в уточнении контекста. Чем точнее его зададите тем лучше сеть поймет что от нее хотят.

codestral 22.2B/Q_4

Не сравнивали с gpt4? Результаты лучше/хуже?

Я как понимаю ей надо 45 ГБ vram? На каком железе запускаете, сколько токен в секунду?

Не сравнивали с gpt4?

Не могу сказать, я не юзаю GPT4, по соображениям приватности и поскольку хватает локально запускаемых LLM под мои скромные нужды. Но, очень вероятно что GPT4o будет лучше в любом вопросе по написанию кода.

Я как понимаю ей надо 45 ГБ vram

Нет, модель квантованная, Q4, вес модели 12 GB.

На каком железе запускаете, сколько токен в секунду?

На RTX 4060ti 16GB VRAM и на M3 Pro 18Gb shared memory.

На M3 Pro буквально вчера выкладывал результат для этой сетки.

На RTXе быстрее, но не прямо существенно, разница токенов 10-12 насколько я помню.

Короче, потестил я рисование ценника на жестяную банку. По сути нужно соединить контуры круга и прямоугольника по типу замочной скважины амбарного замка.

Вначале пытался по русски сформулировать вопрос. Вплоть до скважины амбарного замка. Никто не справился. Ни gpt4, ни mistral-22b.

Перевел запрос на анлийский: How can you merge the outlines of two shapes, a circle and a rectangle, in Java? The top corners of the rectangle should align with the outline of the circle.

gpt4 опять не справился. А вот mistral https://chat.mistral.ai смогла:

import java.awt.*;
import java.awt.geom.Area;
import java.awt.geom.Ellipse2D;
import java.awt.geom.Rectangle2D;
import javax.swing.*;

public class MergeShapes extends JPanel {

    @Override
    protected void paintComponent(Graphics g) {
        super.paintComponent(g);
        Graphics2D g2d = (Graphics2D) g;

        // Create the circle
        int circleRadius = 100;
        Ellipse2D circle = new Ellipse2D.Double(100, 100, circleRadius * 2, circleRadius * 2);

        // Create the rectangle
        int rectWidth = 150;
        int rectHeight = 100;
        int rectX = (int) (circle.getCenterX() - rectWidth / 2);
        int rectY = (int) (circle.getCenterY() - circleRadius);
        Rectangle2D rectangle = new Rectangle2D.Double(rectX, rectY, rectWidth, rectHeight);

        // Create Area objects for the circle and rectangle
        Area areaCircle = new Area(circle);
        Area areaRectangle = new Area(rectangle);

        // Merge the shapes
        areaCircle.add(areaRectangle);

        // Draw the merged shape
        g2d.setColor(Color.BLUE);
        g2d.fill(areaCircle);
    }

    public static void main(String[] args) {
        JFrame frame = new JFrame("Merge Shapes");
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        frame.setSize(400, 400);
        frame.add(new MergeShapes());
        frame.setVisible(true);
    }
}

А вот mistral смогла

Чудо-чудное, ну согласись! Это же как сани, которые едут сами, скатерть-самобранка, ну или шапка-самосранка. Жуть!

Вот раньше, помню, ничего этого не было в помине. Был 486DX2, DOS и маленький тусклый пузатый монитор. Садишься, открываешь Turbo Pascal, лицо синее становится, страшное, и пошёл потеть. Друг у меня был, так он брезговал паскаля, открывал, но писал там между Asm…end; такой код, что у меня ноги отнимались в попытках понять, но не дано было, потому как дурачком родился. Друг жалко не дожил до нынешних времен, помер от водки, царствие небесное, очень бы он удивился.

В общем, восстание машин пока не грозит.

В общем, восстание машин пока не грозит.

Грозит потеря работы нижним сегментам кодомакак, теперь такой штат юнцов посасывающих смузи не очень нужен, вместо них можно оставить одного обученного таджика.

История про спившегося любителя ассемблера, запертого в Паскале, проняла до глубины души. xD

Так откуда тогда возьмётся верхний сегмент в будущем, если все кодомакаки отправятся в курьеры? Кто на смену придёт?

И не всё так радужно. Я пол дня бился, чтобы сделать плавный переход между фигурами. Никто не смог. Дошел до того, что пошагово стал объяснять, что нужен тангент между дугами и вертикальной линией. Всё равно тупит, рисует не там где нужно. Остался только вариант прям по шагам объяснять рисуй дугу из начала линии, затем рисуй следующую дугу из конца предыдущей дуги. И это ещё надо всё в голове развернуть, что и откуда рисовать. Быстрее самому закодить.

История про спившегося любителя ассемблера

У него от асма крыша и потекла, на глазах чахнуть стал как увлекся, тяжело ему было. Году в 2001 я принес ему дискету с MenuetOS, на, дескать, глянь, друг, что люди-то уже на асме понаписали целую ОС с гуем, на 1.44" с запасом влезавшую. Посмотрел он и после этого запил, потом белка у него началась, лаял на людей как пес, бредил, никого не узнавал. Печальная история, но довольно обычная в то время для провинции.

Кто на смену придёт?

Программы будут писать программы, как в том жутковатом фильме из 2000х.

И не всё так радужно.

Подожди годик, будет лучше, когда мультиэкспертные модели вкачают на код, качество сильно подскочет.

Я пол дня бился

Сначала всегда долго бъешься, а потом легче заставлять ехать этот велосипед куда надо. Просто продолжай и пробуй разные приемы взаимодействия. Иногда и человеческую макаку ИРЛ не менее трудно заставить сделать так, как тебе нужно, хе-хе.

Я пол дня бился, чтобы сделать плавный переход между фигурами. Никто не смог.

Смогёт, ежели сказать ему волшебное слово «сплайн» ©.

Не могёт. Я тут просто пытался дугу на 270 градусов нарисовать, чтобы начальная и конечная точка лежали на горизонтальной линии. Ни одна не смогла.

Фактически нужно самому говорить пошагово. Мол поверни дугу для этого. Поварачивает, но на неправильный угол. Поэтому сам сидишь думаешь на какой угол должен быть поворот. А сплайны это вообще за гранью, рисуют что попало.

GPT подстраивается под хотелки делающего запрос, стараясь предугадать что ты он него хочешь

Например, если ты хочешь чтобы он сбежал будет играть в побег, если хочешь в тайне избавиться от человечества, то тоже будет подыгрывать. Поэтому паниковать не стоит. 🤖

Сравнение нейронок

https://upload.wikimedia.org/wikipedia/ru/e/ee/Аксиома_Эскобара.webm

Так там же рандом. Тебе ответ может понравится может нет. В зависимости от случайности. А не от модели.

Посмотрел он и после этого запил, потом белка у него началась

Может быть он запил не из-за асма, а потому что подумал, вот сотворили прекрасное, я тоже так бы смог, но нахожусь в жопе мира, денех нет, жена не поймет, начальник мудак…

Может быть он запил не из-за асма

Здесь история целиком.

Ну я почти угадал, виновен не асм, а амбиции, завышеные ожидания, разбитые мечты, депрессия и алкоголь) А так может в какой-то альтернативной реальности Коля был бы одним из тех чуваков, что в гараже начинают что-то большое.

Сравнение нейронок

Сравнивалки нейронок по всяческим метрикам ©.