БомжИИ

Не оправдывайся, спамер.

На эти деньги можно взять подписку, а остальные потратить на что-то другое. Толку будет больше.

Да ты чо, RTX 3060 Ti не хватит с его 8ю гигами, нужна видюха за $2000 где будет 24 Гб.

Я имел ввиду бюджетную RTX 3060 12GB VRAM, как минимальный входной билет для вката, вполне нормально за свой прайс. Можно даже две ;-)

Tesla K40?

RTX A5000

Я про бомж-стайл :) ну или м40...

Я про бомж-стайл :) ну или м40…

Для меня RTX 5000 и 6000 это база. В идеале конечно иметь A100/H100, но пока только первые две из базы отбил по деньгам. Все что ниже подходит чтобы гонять инференсы с переменным успехом, а не создавать их.

Так прокатит? Две 3060

Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC

ollama пишут что пофиксили это и теперь оно будет при двух GPU половинить модель на несколько адаптеров при запуске.

Вот саццес-стори такого сетапа от забугорного скуфа

Radeon 6800/6900 быстрее и 16 Гб памяти на борту.

Radeon 6800/6900 быстрее и 16 Гб памяти на борту.

Да, но она и существенно дороже зеленой

попрошу зарегистрировать на меня авторские права на термин «GhettoGPT».

GeForce P106-100

ее научили под вин 11 норм работать? Из-за этого барахла точно не стоит переплачивать за некрозевон со встроенным видео.

Бери современных мутантов i7, i9, на видяху потом подкопишь.

Тоже самое с другими нейронками: Stable Diffusion

Stable Diffusion на RTX 3060 12GB вполне бодро шевелится. И даже на карточках с 6 Гб памяти работает быстрее чем на хорошем (12 - 16 ядерном) cpu.

Кстати, есть какой-то справочник по всем этим 16b, 7b, q2 и тд, поясняющий что значат эти буквы и сколько vram нужно модели в зависимости от буковок. Хотя бы примерно сколько.

24 гб vram от AMD подойдут?

Какой бы у Интел аи не получился, он будет поддержан фреймворками и конкретными моделями, например, llama. Или все самому писать для интела?

Stable Diffusion на RTX 3060 12GB вполне бодро шевелится. И даже на карточках с 6 Гб памяти работает быстрее чем на хорошем (12 - 16 ядерном) cpu.

Без --lowvram и --medvram памяти не хватит для генерации картинок 1024x1024 и выше. Для тренировки этих параметров нет, поэтому попросту невозможно.

Неа, нужна CUDA, а не ZLUDA.

и по итогу ты потратил 80к на амд вместо проца и невидию вместо гпу.

справочник по всем этим 16b, 7b, q2

Для CPU нормой являются 7b и Q6. Чем больше цифры тем тяжелее модель и тем медленнее будет генерироваться ответ. При всяких 16b на CPU ответ будет генерироваться слишком медленно даже при Q2. В то время как при 7b можно урезать жирность модели, например, до Q4 и увеличить скорость создания ответа. А уж при Q2 нейросеть вообще начнёт летать (но качество ответов, разумеется, снизится).

Более тяжёлые модели данных, видимо, надо гонять на GPU.

поясняющий что значат эти буквы и сколько vram нужно модели в зависимости от буковок. Хотя бы примерно сколько.

Смотри на сам размер моделей в GB и на что они обучались, квантованные типа Q2 не бери, Q4-Q8 норм, но зависит от модели, но квантованные это всегда компромисс в сторону скорости в ущерб точности. Некоторые публично доступные поставляются только в квантованном варианте.

Условно модель по весу должна тебе загружаться в VRAM полностью, т.е условно если модель 12 Gb, то у тебя должно быть не меньше точно, запас 1-2Gb.

Лучше и точнее работают модели вообще без квантизации и целиком загружаемые в VRAM.

и по итогу ты потратил 80к на амд вместо проца и невидию вместо гпу.

Предложи свои бомж-варианты до 100к суммарно. Интересно посмотреть. Красные карты с 16GB VRAM дороже GTX 3060 12Gb примерно на 15к.

Без –lowvram и –medvram памяти не хватит для генерации картинок 1024x1024 и выше

Конечно, но сам факт что работает и вполне приемлемо, как выше объяснили для текстовых нейросетей к сожалению такого нет. Ну и часто результат выходит лучше если генерировать картинки с низким разрешением и потом апскейлить той же нейросетью.

Для тренировки этих параметров нет, поэтому попросту невозможно.

Тут да без больших объемов vram никак, но вопрос же был про простое использование.

Предложи свои бомж-варианты до 100к суммарно.

Похоже реальный бомж вариант это без gpu, как можно более многоядерный процессор (старые intel xeon или amd) и минимум 64 гига памяти, будет тормозить зато можно и большие модели потыкать.

их можно потыкать на чужом железе

нет хотя бы RTX3060, 64GB RAM и 8x CPU

Достаточно даже RX590, 16GB RAM и 4x CPU

RX590

Мало VRAM

16GB RAM

По текущим меркам 16GB RAM это не серьёзно, один браузер может столько нажрать легко.

будет тормозить

Тормозить будет страшно, может отбить желание использовать

RX590

Мало VRAM

8GB VRAM не так уж и мало: ROCm - работает, всякие там Stable Diffusion - работают (причём и на RX580); в самом крайнем случае можно и вторую такую карточку поставить. Прелесть RX590 в том, что это - самая мощная видюха с качественными опенсорсными драйверами и при этом без бэкдора AMD PSP, который появился в новых AMD'шных карточках. а про знатных проприетарщиков NVidia даже вспоминать не хочу)

16GB RAM это не серьёзно

У меня даже прожорливая Qubes OS с кучей виртуалок, запускающихся по каждому чиху, не смогла оприходовать больше 12-13 гигов в самый разгар работы; + никогда ни ухожу в swap, даже с сотней открытых вкладок и кучей добра в фоновом режиме! Думаю, 16 гигов может не хватить только если используем ну очень жирную проприетарщину, либо ужасно раздутый опенсорс который и опенсорсом-то назвать сложно.

Если тебе денег даже на комп не хватает, может лучше и не заниматься этой хернёй, а нормальную работу найти?