LINUX.ORG.RU

Снова про выбор видеокарты для ML

 , ,


0

2

Собственно, у имеющейся AMD с 8Гб недостаточно памяти. В остальном относительно устраивает, хотя это я еще в основном с PyTorch работаю и он поддерживается.

  1. Nvidia RTX 4060 с 16 Гб памяти за ~ 55 тыс. руб:
    + Nvidia
    + не потребует нового БП.
    - 16 Гб тоже не так, чтобы много
    - относительно не быстрая
  2. AMD RX 7900 XTX c 24 Гб памяти за ~ 100 тыс.руб. (по акциям или на авито, так ~ 120-130)
    + 24 Гб - это хорошо, 4090 с ними дороже 200 тыс. уже
    + быстрее 4060 в большинстве случаев
    - AMD
    - нужен будет новый БП еще за ~ 10-15 тыс.р
    
  3. AMD RX 7900 XT с 20 Гб памяти за ~ 85 тыс.руб. (тоже по акциям, но выбор шире)
    + 20 Гб тоже неплохо,
    + тоже быстрее 4060
    + дешевле предыдущего варианта
    - AMD
    - все равно новый БП нужен
    - 20 Гб все же не 24 Гб

Ввиду острого желания сэкономить деньги обратил внимание на avito.ru Есть там вроде как продавцы новых видеокарт с официальной гарантией даже. Правда чем гарантия от AMD поможет неясно. По ценам на 10%-15% дешевле dns-овских продают. Непонятно можно с ними связываться или не стоит все равно. До сих пор на авито брал только б/у (не видюхи) у обычных людей, не постоянных торговцев.

Я бы вообще сейчас не суетился подождал бы начала января, к сожалению, есть риск, что низких цен при этом не дождусь, несмотря на затишье продаж в то время.

★★★★★

Последнее исправление: praseodim (всего исправлений: 1)

Ответ на: комментарий от Suigintou

Да вот сложно выбрать все же. Для ML памяти на GPU много не бывает и 24 Гб и даже 20 Гб выглядят соблазнительнее 16. А 4090 я точно не потяну.

С одной стороны ML - это nvidia, с другой, поддержка AMD все же расширяется. Скажем еще пару лет назад все куда грустнее было, сейчас даже PyTorch смог поставить с официальной поддержкой и оно таки работает. Однако много чего или не работает или сильно хуже, например, stable diffusion...

Вот и никак не могу решиться.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от token_polyak

ROCm?

Да. Лучше версии 5.700 не ниже.

Затем для pytorch

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.5

В Ubuntu 22.04 с ядром 6.1 заработало в python 3.10 итоге без докеров и удалось почти без проблем поставить и matplotlib и др. библиотеки и jupypter-notebook

Единственно, надо правильную переменную HSA_OVERRIDE_GFX_VERSION прописать для 6600 XT это HSA_OVERRIDE_GFX_VERSION=10.3.0 для других карт свое может быть. Для 7900 вроде 11.0.0

praseodim ★★★★★
() автор топика
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от praseodim

Я бы взял NVidia, просто по тому, что они флагман и все ориентируется на них, они задают «стандарты» и пр. Брал бы только для тестирования и разработки, если нужны мощности, то на короткое время проще арендовать сервак (день-два-три), раньше в selectel были вполне нормальные конфигурации…

soomrack ★★★★★
()
  • нужен будет новый БП еще за ~ 10-15 тыс.р
  • все равно новый БП нужен

Когда у меня впервые появился Radeon 6890HD то я просто сделал переходник и запитал его от второго блока питания.

То есть в моём ПК было два БП, один питал материнку и hdd, а второй ничего не делал кроме того что запитывал силовые разъёмы видеокарты.

В общем хватит этого сумасбродства с покупкой экстремальных БП и пересборкой всего компьютера, просто бери старый БП нужной мощности или если и покупай БП, то промышленный создающий только одни 12 вольт с нужной мощностью тока, ну или два БП с возможностью объединения петель обратной связи.

anonymous
()
Ответ на: комментарий от anonymous

То есть в моём ПК было два БП, один питал материнку и hdd, а второй ничего не делал кроме того что запитывал силовые разъёмы видеокарты.

Интересно, но есть какое-то описание как правильно подключать? Я не очень разбираюсь в этом, но сходу вижу подводные камни с риском вообще спалить весь комп или только видюху.

1) Что если земли основного и дополнительного БП имеют потенциал относительно друг-друга?

2) Как правильно включать и выключать БП, какой первым, какой вторым? Что при режимах suspend и прочем автоматическом управлении питанием?

praseodim ★★★★★
() автор топика
Ответ на: комментарий от praseodim
  1. Что если земли основного и дополнительного БП имеют потенциал относительно друг-друга?

Я сдклал перекидку между чёрными проводами двух БП что сделало землю общей.

  1. Как правильно включать и выключать БП, какой первым, какой вторым? Что при режимах suspend и прочем автоматическом управлении питанием?

В моём случае это было без разницы, но вот если для переинициалищации ПК выключается, а питание тех или иных блоков нет то ПОВТОРНАЯ инициализация может пройти не правильно с забавными глюками.
Это касается не только моего способа с видеокартой, но и usb хабов которые если у них есть свой БП могут подать +5v в компьютер.

Но в случае двух БП можно синхронизировать их сигналы PS_ON, но я этого не делал.
Но когда я сейчас искал распиновку atx разъёма БП то я узнал что есть огромное количество синхронизаторов запуска БП: https://duckduckgo.com/?q=Синхронизатор+блоков+питания+ATX+24pin&t=brave&iar=images&iax=images&ia=images В про

anonymous
()

А зачем тебе видеокарта ? На авито/ali полно бу графических ускорителей типа NVIDIA TESLA. Вот тебе пример: ( https://www.avito.ru/moskva/tovary_dlya_kompyutera/nvidia_tesla_k80_24gb_3261281633). Для тестов разработки хватит, если дальше нужно будет - прикупишь еще штук 5.

А так для ML бери исключительно NVIDIA

ivanich10
()
Последнее исправление: ivanich10 (всего исправлений: 4)

Все зависит от того, сам ты модели программируешь/обучаешь, или используешь чужие. Если второе, то RX7900XT с его 20Гб это впустую потраченные деньги. Готовые «бытовые» ML-модели пилятся с прицелом на 3090/4090, а у них 24Гб. Т.е. у тебя модель будет либо не влезать, либо часть памяти будет простаивать, т.к. модель построена из расчета на 16Гб видяху.
Другое дело если ты сам все делаешь, с расчетом на имеющееся под рукой железо, тогда можно брать все что угодно, на что хватает денег, это в любом случае будет быстрее, чем на CPU.

Khnazile ★★★★★
()
Ответ на: комментарий от ivanich10

k80 уже слишком старые все-таки. 2014-й год, Kepler под него уже вроде драйверов даже нет для современных систем. Хотя и б/у, но цена вкусная все-таки и даже по производительности все еще не пустое место.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от Suigintou

Зачем этот колхоз? Подходящий БП приобретается на сдачу от покупки подходящей по параметрам nVidia Теслы)))

Это если Теслу не покупают с расчётом до копейки или цента и ТС судя по всему именно такой.

И потом, помимо расходов смена БП означает полную пересборку ПК при том что самые мощные каналы будут едва дотягивать до требующиеся мощности питания видеокарты.

Так не лучше ли использовать отдельный промышленный БП который даст нужную мощность с достаточным запасом и для своей установки не будет требовать полной пересборки ПК?

anonymous
()
Ответ на: комментарий от praseodim

по моему опыту обычно у ML конечное устройство - какой нить тупое hardware железяка ( да и то в лучшем случае с хардварной поддержкой, что не всегда ). Так что, «хорошая» видеокарта тебя не спасет - никто не будет для модели ставить такое «шикарное» железо. Обычно нужно масштабировать - т е делить вычисления на много дешман карт. Так что тебе лучше изменить твою модель так, чтобы влезало на текущее железо

ivanich10
()
Последнее исправление: ivanich10 (всего исправлений: 1)
Ответ на: комментарий от Partisan

Чего тут выбирать. Radeon хуже поддерживается библиотеками чем Geforce.

Хуже-то хуже, но 24 Гб супротив 16 Гб слишком соблазнительно выглядят. Да и по бенчмаркам побыстрее раза в два будет радеон с ними, чем 4060, хотя и медленнее 4080 Вот и выбирай...

praseodim ★★★★★
() автор топика
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от Khnazile

Все зависит от того, сам ты модели программируешь/обучаешь, или используешь чужие. Если второе, то RX7900XT с его 20Гб это впустую потраченные деньги.

Да, похоже 20 Гб - это ни туды и ни сюды. Если бы еще стоило не слишком дороже 4060

praseodim ★★★★★
() автор топика
Ответ на: комментарий от praseodim

Хуже-то хуже, но 24 Гб супротив 16 Гб слишком соблазнительно выглядят. Да и по бенчмаркам побыстрее раза в два будет радеон с ними, чем 4060, хотя и медленнее 4080 Вот и выбирай…

Если задача позволяет использовать 24 Гб, то скорость самого GPU уже вторична, производительность будет всё равно выше, чем с 16 Гб.

annulen ★★★★★
()
Ответ на: комментарий от praseodim

Хуже-то хуже, но 24 Гб супротив 16 Гб слишком соблазнительно выглядят. Да и по бенчмаркам побыстрее раза в два будет радеон

И хрена ль толку от AMD/Radeon, если все вокруг ML-модели под NVIDIA точат? Ты рискуешь ждать у моря погоды пока появятся дрова и библиотеки, но они не появятся. Вот оно тебе надо?

Xintrea ★★★★★
()
Ответ на: комментарий от Xintrea

И хрена ль толку от AMD/Radeon, если все вокруг ML-модели под NVIDIA точат?

Ну вот я сейчас изучаю нейросетки вполне себе на AMD/Radeon, есть драйвера - ROCm, есть основные фреймворки PyTorch под него, есть Tensorflow, правда не официальный, а AMD-ный форк. Некоторые сетки, например, fooocus для генерации изображений, имеют варианты под AMD - https://github.com/lllyasviel/Fooocus Так что не совсем так, что нет толку.

Хотя конечно это все сильно вторично по сравнению с Nvidia. С другой стороны 16 Гб как-то нынче уже маловато, особенно для NLP - моделей. Были слухи, что Nvidia выпустит 4080 с 20 Гб, я бы наверное, удавив жабу, наскребся бюджета под нее, но нет, отказались, новый вариант будет, но все с 16 Гб.

Ё-моё, никак решиться не могу. Единственное исключил вариант AMD с 20 ГБ, это действительно излишнее.

praseodim ★★★★★
() автор топика
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от NiTr0

rx580 16GB скорее всего вполне настоящие (вопрос качества/долговечности оставляю за скобками).

Сделаны аналогично заводской 16GB-модели от Sapphire - https://web.archive.org/web/20210117185452/https://www.sapphiretech.com/en/commercial/radeon-rx-570-16gb-hdmi-blockchain

А вот 20GB похоже на полный фейк.

А предущее поколение из 2015 года и на 32GB были - https://overclockers.ru/hardnews/show/69658/amd-firepro-s9170-uskoritel-vychislenij-s-32-gb-pamyati

С подавляющим большинством нейронок скорее всего работать не будет, это архитектура как R9 290/390, кажется их поддержка ROCm очень не очень

GPFault ★★
()
Последнее исправление: GPFault (всего исправлений: 1)
Ответ на: комментарий от NiTr0

и уж тем более - иметь некратный ширине шины обьем…

Почему? Может у производителей возникла партия бракованной памяти, и они, чтобы её не выбрасывать, решили заблокировать 4 гига из 24.

annulen ★★★★★
()
Ответ на: комментарий от praseodim

Надо там ловить конкретные модели, которые тебе подходят как будут появляться, если конечно есть вариант повисеть лишнюю недельку перед покупкой и помониторить. В твоем случае как я понимаю, есть определенная задача, и лучше железо подбирать конкретно по нее. Если же на поиграться, то лучше брать минимальное и более ликвидное типо той же 4060, чтобы было проще продать, и потом купить что-то более новое или мощное, когда уже будет понятно, что конкретно нужно и нужно ли вообще. У amd нового поколения не будет, если только самые бюджетные карты. А у nvidia будет 50xx, поэтому лучше брать nvidia.

Вообще у нас есть небольшой ML продукт, который мне тоже приходилось править. Но там используется gpt-3.5-turbo api и бесплатный инстанс pinecone для хранения векторов. И этого хватает чуть более чем полностью, хотя конечно есть возможность использовать сhroma, модели с HuggingFace, GPT4All, но это все просто напросто тормозит.

anonymous_sama ★★★★★
()
Последнее исправление: anonymous_sama (всего исправлений: 1)

8Гб недостаточно памяти

Видеокарты только для прототипирования.

В реальных задачах, если нет многоденег, никаких альтернатив x86 с 8/16/12/24 каналами пимяти - нет.

anonymous
()
Ответ на: комментарий от annulen

угу, ага, на 256бит шине 24 гига, из которых еще 4 гига произвольно блокируется)))

я сильно сомневаюсь что видеочипы в принципе умеют в банки неодинакового обьема… не говоря о блокировке части обьема…

NiTr0 ★★★★★
()