Как установить llama.cpp в Gentoo?

кто-нить уже придумал хоть одно разумное применение всяких ии или только вопросы о конце света и «напиши мне код»?

Интересно, благодарю, наступает вечер красноглазого рукоблудия.

Установить в Генту так же как и в любом другом линукс, собрать в своём уютном хомячке по инструкции. Писать для этого ebuild я конечно же не буду.

Одно только «напиши мне код» ускоряет создание всякой прикладной скриптохерни в десятки раз. Ессно копипастить этот код не нужно, но в качестве примера реализации годится.

Надеюсь мелкософт, который вбухал туда 1млрд, будет таким аргументом доволен ))

git clone и собираешь, разве не так?

Пока ты ищешь ему применение и патетически задаёшь риторические вопросы, лично я это применение нашёл, и уже вовсю использую. И так это оказалось удобно что я даже за доступ заплатил.

Да, я использую ЧатГПТ как костыль-подпорку при написании скриптов. Нет, мне не стыдно, я не программист, мне не нравится программировать, написание скриптов вынужденное занятие, с удовольствием бы этого не делал совсем. Обнаружил что ЧатГПТ экономит кучу времени предоставляя готовые для переработки и осмысления примеры, а так же отыскивая фрагменты документации.

написание скриптов вынужденное занятие

что это значит?

Это значит что основная моя деятельность программированием не является, но скрипты нужны для автоматизации например. Ты сам попробуй, ЧатГПТ программиста конечно не заменит, но вот дополнить вполне может, в качестве «умной справки» и подсказчика\советчика. Главное научиться задавать «правильные вопросы» (в которых уже содержится половина ответа, как писал Шекли).

Я не один так ей пользуюсь, мне тоже посоветовали, и мне понравилось. По ощущениям «парное программирование» с этой штукой может скорость создания кода в десятки раз увеличить. Главное побороть снобизм, недоверие и предрассудки на тему «да чего мне там умного этот попугай может насоветовать, он пишет нерабочий код». Ну да, так и есть. Только глядя в примеры «нерабочего» кода «рабочий» создаётся быстрее и эффективнее.

Лично у меня нет задачи писать гениальные и эффективные алгоритмы, у меня задача написать так чтобы эта штука делала то что она делать должна, причём написать быстро, потому что это вспомогательная задача.

если копипастить постоянно то, что он предлагает будет хаос. Я согласен, что он помогает, но на это вбухать 1млрд зеленых?? Неудивительно, что гугел так и не поставил свой бард в приоритет. ПОка что ии игрушка.

Засунули его в бинг типа «у нас есть гопотачат и мы лучше гугла. Гы». На самом деле гугл монстр по сбору информации и никакой бинг его не сделает. Вот доработают бард тогда посмотрим

если копипастить постоянно то, что он предлагает будет хаос

Использование ИИ не отменяет и не запрещает использование собственных мозгов. Речь идёт не о замене человеческих мозгов на машинные, речь об их совместном использовании. И вот тогда возникает синергия, которую лично я уже ощутил. Сорян, но твоего интеллекта явно недостаточно для того чтобы оценивать целесообразность вложения миллиарда зелёных.

IMHO деньги вкладывают не зря, «гонка моделей» уже напоминает «Лунную гонку» в космонавтике, и последствия её будут качественными, а не количественными. Как и в результате «Лунной гонки», колонизации не случилось, но во множестве связанных областей произошёл существенный прогресс, например в материаловедении.

Тебе нужен https://github.com/LostRuins/koboldcpp. Это форк твоей ламы, но с web ui. Собирается одним вызовом make.

Модели брать здесь https://rentry.org/nur779. Выбирай формат ggml. Например из раздела Alpaca quantized 4-bit weights (ggml q4_0). Я пробовал 13b и 30b.

Сорян, но твоего интеллекта явно недостаточно для того чтобы оценивать целесообразность вложения миллиарда зелёных.

Натюрлих, куда уж мне убогому )) Хосподя, люди не меняются, всегда надо ощущать превосходство.

Как смотрю тут видео про нацистов и вов одна дочь генерала рассказывает:

Отец всегда говорил этот так приятно - побеждать!!

Натюрлих, как же можно не видеть во всём попытку овладеть и перестать анус ладошкой прикрывать. Хорошо, я извиняюсь, видимо твоего интеллекта достаточно чтобы оценить эффективность вложения миллиарда долларов, прости что усомнился.

Использование ИИ не отменяет и не запрещает использование собственных мозгов.

Человечество с древних времен все строит, строит, строит ... вавилонские башни и находит сотни оправданий для чего они нужны.

ИМХО ИИ это очередной «мирный атом».

omg

Для машины со 128гб мозгов какую модель брать? Я статью на хабре читал, но чот не понял с первого раза как циферки в названии с объёмами занимаемого ОЗУ коррелируют. Где количество потоков задаётся я уже нашёл.

А как по мне это вполне может оказаться точкой бифуркации и «технологической сингулярностью». Количественное наращивание сложности и мощностей вполне может внезапно перейти в новое качество. А может и не перейти, но даже в этом случае синергетический эффект будет, просто пока он не особо заметен. Да и нам особо не рассказывают про практические применения. Это не значит что их нет, скорее это означает что там большие деньги и время говорить ещё не настало.

Кстати аналогии про «мирный атом» и «вавилонские башни» я не понял. Предлагается десятками тысяч лет ковырять грунт деревянной сохой с трудом себя прокармливая? В этом счастье? А с «мирным атомом» что не так? Я вот другого столь же эффективного практического способа вырабатывать электроэнергию не знаю. Да, чернобыльфукусима ужасужас, но это локальные беды, а глобально без него никак, вообще никак...

Памяти много не надо. У меня 64 ГБ и модель на 30b влезает. Тут скорее выбирать по соотношению качество/скорость работы. У меня 30b за минуту 80 токенов выдаёт. А модель 13b за 20 секунд.

Кстати как она «вширь» масштабируется? Многопоток сильно влияет? Если у меня 16 реальных камней (32 с гипертредом) эффект будет от них, или частота важнее?

У меня ryzen 5950x 16c/32t. ЦП на полную не прогружает. Где-то на 50% ядра и нагрузка скачет между ядрами.

Сначала пробовал без указания потоков, потом ставил на 16. Но особой разницы не заметил. Пробовал собирать с openblas и cblas.

Если получится хорошо настроить, то поделись. У меня сейчас времени нет разбираться.

А с «мирным атомом» что не так?

Потому как его ныне и не в мирных целях используют.

Как и топоры. Достоевский об этом писал. И даже ножи для бумаги

Не 1млрд, а 10млд.

Как и топоры

Видите ли в «шестой палате» (это нынешнее человечество), топоры и ножи используют часто не по назначению.

Что касаемо «мирного атома», то ныне в ФРГ закрыли последние три действующие атомные электростанции.
А вот ядерные боеголовки никто не собирается уничтожать.

🤯

Да и «прошлое человечество» использовало их по всякому. Это вообще человечеству присуще как биологическому виду, это не «нынешнее» человечество изобрело.

Но есть и позитивный взгляд. Если построить график «дикости, зверств и ксенофобии» по мере развития человеческой цивилизации, то мы увидим что глобальный тренд идёт в сторону смягчения нравов, а не их ужесточения. Это не отменяет локальных зверств, геноцидов и бомбардировок хиросим с нагасаками, но суть в том что эти события осознаются и оцениваются отдельно, неоднозначно, как исключения, а не нормы. А скажем совсем недавно геноцид завоёванного племени или народа был настолько обыкновенен что воспринимался совершенно естественно.

Так что с одной стороны ядрёны бонбы и хиросимы с нагасаками, а с другой стороны в целом человечество становится добрее и мягче.

Не закрыли, а законсервировали. И подозреваю что причины на то были экономические, а не идеологические. Конечно идеологически это было подано как «победа зелёных» и т.п., но думаю что если разобраться то окажется что в этих районах выгоднее избыточную выработку из Франции покупать чем содержать работающую АЭС.

Сейчас весь OpenAI включая распиаренный ГПТ не на бумаге, но на деле является собственностью майкрософт, инвестировали они не по доброте душевной, а для плясания под их дудку. Впрочем ничего нового, к слову не знаю как сейчас, но всё что генерит ГПТ нельзя использовать кроме как в сугубо личных целях.

Гугл сделал мелкософт во многих направлениях и поэтому было как бы делом чести мелких унизить гугл хоть в чем-нибудь.

то мы увидим что глобальный тренд идёт в сторону смягчения нравов

https://azbyka.ru/biblia/?3Ezr.9&r Ездры 3-я, глава 9

Я прежде говорил, и теперь говорю, и после буду говорить, что больше тех, которые погибнут, нежели тех, которые спасутся, как волна больше капли.

ОМГ, ну конечно же нельзя. Но можно использовать в качестве инструмента человеком для целей общественных. Я чот никак не пойму, почему настолько простая мысль никак не проникает глубоко в древесину — интеллект искусственный не отменяет и не заменяет интеллект естественный, тут нет ситуации исключения, или\или. Тут конкатенация, «и». «Экспертные системы» используются давно и эффективно, возможность взаимодействовать с ними на естественном языке расширяет её применимость до невероятных пределов, например теперь ей способен пользоваться не обученный тонкостям работы с ЭС человек.

Хватит оценивать технологию по её публичному, цензурированному и кастрированному примеру, фишка не в том что «ОМГ оно пишет код», фишка в другом, «ОМГ оно понимает что я от него хочу без написания запроса на „птичьем“ языке с кучей условий и логических операторов».

Не нужно отказываться думать своей головой и копипастить то что попугай написал, а потом ругаться что попугай тупой и написал плохо. Тупой тут не попугай...

Ясно, ПГМ\ХГМ, я пас, приятно пообщались. Пометочку на будущее сделал, чтобы не забыть.

Ясно, ПГМ\ХГМ, я

У меня с вами разное мировозрение.
Для меня Бог не ПГМ\ХГМ, а

Бог

Мне ничего не остаётся как только тебя косплеить.

ОМГ, зачем ты всё это мне написал :D

Я слишком серьёзный и нудный да? Душню? Сорян. Скучно, поболтать захотелось, совсем забыл что для этого я оплатил ЧатГПТ4, лол.

:D Мне лениво, сорян, я как пельмень сейчас варёный.

Решил попробовать запустить на gpu с помощью проекта text-generation-webui. В RTX4090 со скрипом влезла модель 30b. Работает оооочень шустро. После экспериментов на cpu просто небо и земля.