Слушайте, а на видеокарте для майнинга можно ИИ гонять? Хочу недорогой комп себе собрать для нейросеток. Чтоб картинки генерить.

То, что мы называем ИИ, работает на чём угодно. Хоть на встройке.

Т.е. можно брать? Ок, спасибо!

брать нельзя.

Чотак?

Сабж. А в теме я полный нуб.

ты реально готов дать кому-то денег, на основе одного мутного предложения, не содержащего конкретной информации, по вопросу который ты сам сформулировал предельно расплывчато?

Собери просто комп с кучей б.у. оперативы и б.у. многоядерным процессором. Это будет медленней, но намного дешевле чем видеокарта.

Дешевле, чем 4000 р?

Это же замайненная в хлам видеокарта. А процессоры почти вечные.

Авито - такая контора, что да, приходится давать кому-то денег без гарантий.

А вы задавайте уточняющие вопросы. Я ж говорю: в теме не шарю, как сформулировать конкретно - не знаю.

А процессоры почти вечные.

Китайские-то? Хрен его знает, что китайцы на этих процессорах делали.

И китайские тоже. Там со списанных серверов, они не переразгонялись как потребительские, содержались в условиях серверной, где низкая температура.

они не переразгонялись как потребительские, содержались в условиях серверной

Зуб дашь?

сначала надо самому определиться, что ты хочешь. потом посмотреть инфу в инете - какое модели и железо для этого надо. потом гадать, то умеет карта, что ты купить собрался. и подходит ли она вообще.

Я определился. Комп 8Гб ДДР4, видеокарта 8Гб ОЗУ. Советуют 1070.

Спеки посмотри. Я вот помню для моего процессора ограничение по температуре 84 градусов, после этого он начинает тротлить. А процессоры деградируют при более высокой температуре.

если тебе нужен ИИ то тебе важнее всего количетсво CUDA Блоков вроде как

если тебе нужен ИИ то тебе важнее всего количетсво CUDA Блоков вроде как

По минималкам 1070 потянет.

Комп 8Гб ДДР4, видеокарта 8Гб ОЗУ.

8 гб озу это не мало? там вроде чуть ли не вся модель должны быть в озу. видел советы под 32гб озу, ну 16 от силы. короче все зависит от задач и моделей

Да-да, всё так, но минимальные требования таковы. Оно в своп уходит, там ад и содомия, но минимальные требования

8Гб ДДР4, видеокарта 8Гб ОЗУ.

пока таковы. Да, будет говнокачество.

Чтоб картинки генерить.

В статьи на ЛОР будешь вставлять?

Аватарку буду каждую неделю менять :)

Оно в своп уходит

это писец. медленней на пару порядков, и будешь пилить свой ssd, пока не спилишь совсем. ну или hdd, ему тоже мало пользы от игры головками.

Авось он не всегда будет в своп уходить, а в крайних случаях. Короче, надо пробовать, там видно будет.

Нейронкам нужна видеопамять и CUDA. Бери нвидию с от 16 Гб.

Дорого. 4 тыс.р. vs 64 тыс. р. как-то негуманно. В заголовке ж написано

недорогой комп

Я определился. Комп 8Гб ДДР4, видеокарта 8Гб ОЗУ. Советуют 1070.

Картинки генерировать будет. 8 Гб видеокарты для не самых новых моделей для этого хватит. Но впритык. Вообще, для ИИ-целей чем больше памяти, тем лучше и 8Гб сейчас - это прям совсем жесткий минимум. Графические модели еще заработают, для текстовых уже не хватит, кроме может совсем заквантизированных.

И это, для компа лучше хотя бы 16 Гб, 8 Гб основной RAM - это что-то сейчас совсем жестко, не уверен, что ее хватит.

За 4 т.р., если исправная, можно и попробовать. Но риск, что за эти деньги будет что-то перегретое с прожаренным чипом велик. Хотя карты для майнинга тут как ни странно наверное предпочтительнее, чем игровые.

как-то негуманно

ИИ вообще не про гуманизм.

Спасибо за развёрнутый ответ

Это будет настолько медленней, что даже рассматривать нет смысла

Собери просто комп с кучей б.у. оперативы и б.у. многоядерным процессором. Это будет медленней, но намного дешевле чем видеокарта.

ИИ на процессоре медленнее, в зависимости, от модели и соотношения скоростей CPU/GPU иногда в сотни раз.

Чем для этой цели не устраивает какой-нибудь Kandinsky?

Примерно то же самое, как свой подкроватный сервер vs облако в гугле/микрософте. Есть некоторые ограничения, которые свой сервер снимает. Плюс, гарантия, что там не поменяют генеративную модель, не включат цензуру и т.д.

не включат цензуру

Т.е. цензура на сами аватарки тебя не колышет?

Более того, похоже, в Stable Diffusion уже есть цензура, хотя казалось бы запускается локально.

для текстовых уже не хватит, кроме может совсем заквантизированных

Удивительно, но у меня текстовые даже на встройке амд работают, но мееедленно.

Т.е. цензура на сами аватарки тебя не колышет?

Не колышет. Я запрещённые картинки на локалхосте разглядывать смогу.

Более того, похоже, в Stable Diffusion уже есть цензура, хотя казалось бы запускается локально.

Будет интересно проверить!

Так если картинку 16×16, может и мой Интел Айрис сгодится?

Удивительно, но у меня текстовые даже на встройке амд работают, но мееедленно.

С ускорением? Вообще для встройки (не всех и не на всех системах) можно довольно много оперативной памяти назначить. Работать действительно будет медленно.

Более того, похоже, в Stable Diffusion уже есть цензура, хотя казалось бы запускается локально.

В локальных текстовых точно есть. Про графические не знаю, думаю там просто не на любом материале тренировали.

Это будет настолько медленней, что даже рассматривать нет смысла

Но между прочим, по какой-то причине популярные фреймворки для нейросеток, вроде PyTorch и сопутствующие библиотеки, не используют многоядерность, то есть, работают на одном ядре CPU. Во всяком случае, я не знаю как распараллелить на CPU, а не GPU, если и можно, то как-то сильно нетривиально. Притом некоторые вещи, например, первичная обработка данных, в общем-то параллелятся, даже параметры для этого есть.

А не факт. Некоторые из этих майнинговых карт не умеют CUDA, например. Смотри на счёт конкретной карты.

Оверпрайс же. По теме: нейронки будут работать, но медленно загружаться, так как PCI-E шина урезана. А, ещё NVENC нету на этом чипе. И бонусом может быть треск от вентилятора при простое.

А на хрена мне NVENC?

С ускорением?

Ага вулканьем, rocm чего-то не завёлся, крашит драйвер.

У 1070 скорость будет на уровне условного Ryzen 3600 чисто на CPU, да еще в последний войдут куда большие модели (правда незачем входить большим)

И? Во-первых, где мне взять связку мать-проц-память на Ryzen 3600 за 4000 р?

Во-вторых, ИИ на процессоре медленнее, в зависимости, от модели и соотношения скоростей CPU/GPU иногда в сотни раз.

Ерунда про соотношение, особенно на древних GPU, получишь на llama3.1 8b каких-нибудь 5-7tok/sec на 1070, аналогично и на этом CPU

А запустишь ты видеокарту без связки мать-проц-память? Ничосебе.

вроде PyTorch и сопутствующие библиотеки, не используют многоядерность, то есть, работают на одном ядре CPU

Как-то не то ты говоришь, CPU как раз параллелится как с частичной, так и с полной загрузкой ядер, так что мгновенно сжирает и 8/16 потоков и 64гб памяти у меня на минике.

Такое можно брать только если точно знаешь, что тебе подойдёт. У специализированных карт может быть напряг с драйверами. Есть шанс, что обычные драйвера на них не встанут, а комплектные драйвера будут слишком старыми для версии CUDA, которую хочет софт для ИИ. Возможно, с бубном и плясками это удастся завести, и даже будет работать хорошо. А возможно, что всё заработает сходу.

Ну то есть если готов к развлечениям, то можно.