Релиз AMD ROCm 3.3.0 — открытой платформы высокопроизводительных вычислений на GPU

Не очень понятно что это. Я глянул: вроде как набор драйверов для AMD видеокарт (не встроенных пока, ноуты в пролете), некий тулчейн для обучения и применения моделей машинного обучения. Что они подразумевают под платформой? Самописный пакет под МЛ на АМД ГПУ? Зачем? Ну, т.е. буквально уже целый зоопарк фреймворков, причем аппаратнонезависимых в том числе. И второй, еще более странный момент: нет, видеокарты АМД не умеют в МЛ по сравнению с НВидиа. Navi тоже https://www.reddit.com/r/deeplearning/comments/caiily/new_amd_navi_gpus_for_deep_learning/ Зачем делать платформу заранее понимая, что разработчики не будут серьезно это использовать? Если ты профессионально с этим работаешь – ты возьмешь нормальный инструмент, если поиграться – тебе не нужна никакая особая платформа.

Если уж нужна некоторая «платформа» для удаленного обучения моделей, ну, есть зондовый и условнобесплатный colab от гугла. Опенсурс – это замечательно, но я не вижу где эта работа нужна. Возможно я чего-то не понимаю.

ROCM это CUDA для AMD.

Зачем делать платформу заранее понимая, что разработчики не будут серьезно это использовать? Если ты профессионально с этим работаешь – ты возьмешь нормальный инструмент, если поиграться – тебе не нужна никакая особая платформа.

Tensorflow это платформа? А Keras? Благодаря ROCM появилась возможность работать с нейронками с аппаратным ускорением не только на чипах Nvidia, но и AMD, используя при этом существующий код написаный с помощью тех же Tensorflow и Keras.

В этом вашем rocm две засады. Первая - не на всякой конфигурации оборудования он вообще заводится. Вторая - даже если конфигурация правильная, не на всех дистрибутивах и ядрах он заводится.

ну вообще они указали в доке и то, и другое. Но да - ограничений многовато

https://github.com/RadeonOpenCompute/ROCm#hardware-and-software-support

https://github.com/RadeonOpenCompute/ROCm#Supported-Operating-Systems

Приколы связанные с переставлением видеокарты из одного слота PCIe x16 в другой от того что они описаны в доке от этого не пропадают)

ROCM это CUDA для AMD.

Причем программы для зеленой true CUDA вроде бы запускаются теперь в HIP и на AMD?

А OpenCL работает и на зеленых GPU.

Tensorflow это платформа? А Keras?

Tensorflow->ROCm работает на RX 470 8GB? есть ли какие-то ограничения и недостаткиу такой железки кроме относительно низкой производительности по сравнению с современными и необходимостью использовать матплату с true PCI 3.0 atomics?

Можно ли на AMD использовать DotNet библиотеки типа:

https://en.wikipedia.org/wiki/ML.NET

https://github.com/SciSharp/TensorFlow.NET

?

The following list of GPUs are enabled in the ROCm software, though full support is not guaranteed:

«Polaris 11» chips, such as on the AMD Radeon RX 570 and Radeon Pro WX 4100

У меня на RX480 4GB работает.

есть ли какие-то ограничения и недостатки у такой железки

Да. Если использовать новое ядро и идущие с ним драйверы (метод Using Debian-based ROCm with Upstream Kernel Drivers) то есть ограничение на использование видеопамяти в 3/8 от оперативной, т.е. при моих 8 ГБ ОЗУ я могу в ROCm использовать только 3 из 4. Если собирать драйвер самому - таких ограничений нет, но фреймворк для сборки в виде Bazel зело затейлив и нетороплив.

Можно ли на AMD использовать DotNet

Не могу сказать.

P.S. Перепутал. Tensorflow-rocm из исходников собирается с помощью Bazel (но обычно этого делать не нужно), ROCm ставится нормально.

The following list of GPUs are enabled in the ROCm software, though full support is not guaranteed: «Polaris 11» chips, such as on the AMD Radeon RX 570 and Radeon Pro WX 4100

Но это ведь только теория, а практика:

https://github.com/RadeonOpenCompute/ROCm/issues/595

https://github.com/RadeonOpenCompute/ROCm/issues/825#issuecomment-506737088

https://github.com/ROCmSoftwarePlatform/tensorflow-upstream/issues/162

или нет?

От версии ROCm зависит возможность выпадания работоспособности старых карточек типа RX470 на более новых версиях ROCm?

Tensorflow с поддержкой видеокарт AMD и Tensorflow с поддержкой Windows это два разных форка от AMD и Microsoft, оба из которых имеют мало шансов на попадание в апстрим, так как гуглу это не интересно.

В состав Windows включена библиотека WinML, которая вроде как похожа на ML.net и работает на видеокартах любых производителей с заявленной поддержкой DirectX 12.

Tensorflow с поддержкой видеокарт AMD и Tensorflow с поддержкой Windows это два разных форка от AMD и Microsoft, оба из которых имеют мало шансов на попадание в апстрим, так как гуглу это не интересно.

У Tensorflow для AMD ведь есть поддержка линуксового Python?

А в DotNet Core наверняка есть либы для вызова питона в runtime, причем не из командной строки, а через какой-нибудь динамический генератор обвязки API для питоновых либ, для нодеJS ведь такое есть.

линуксового Python

щта? под вендой питон тоже работает

Пользователи могут устанавливать и использовать одновременно разные версии тулкита (ранее была доступна для установки и использования только одна версия).

Всё настолько криво?

Пользоваться

PATH="${PATH}:/opt/rocm/hcc/lib"

никто не мешает.

TF и Keras – фреймворки для работы с МЛ. Они не зависели от драйверов, считаться могли и на CPU, и на GPU, AMD – тоже, потому что OpenCL. Были улучшения для CUDA, но это не вина разработчиков что АМД карты такие.

используя при этом существующий код написаный с помощью тех же Tensorflow и Keras.

Вот это я не увидел, увидел что у них там набор каких-то своих библиотек. В этом-то и проблема. Я бы понял, если это просто драйвера и патчи в фреймворки, на будущее, вдруг их карты станут пригодны для работы в этом направлении. Но тут этого нет, это меня и удивляет.

TF и Keras – фреймворки для работы с МЛ. Они не зависели от драйверов, считаться могли и на CPU, и на GPU, AMD – тоже, потому что OpenCL. Были улучшения для CUDA, но это не вина разработчиков что АМД карты такие.

Винить кого-либо кроме себя за сделанный выбор глупо. Каждой задаче свой инструмент. Вендорные реализации CUDA и ROCm будут выигрывать в производительности более универсальному OpenCL - чудес не бывает.

Вот это я не увидел, увидел что у них там набор каких-то своих библиотек. В этом-то и проблема. Я бы понял, если это просто драйвера и патчи в фреймворки, на будущее, вдруг их карты станут пригодны для работы в этом направлении. Но тут этого нет, это меня и удивляет.

Плохо смотрели. Это именно набор драйверов (в т.ч. dkms) и патченные фреймворки (в т.ч. tensorflow-rocm).

Пол:11 http://repo.radeon.com/rocm/apt/debian xenial/main amd64 hcc amd64 3.1.20114 [408 MB]                                                                                                                      
26% [11 hcc 56,3 MB/408 MB 14%]                                       27,2 kB/s 3ч 38мин 14с

Мде :-)

Это пять!!!

https://github.com/preda/gpuowl/issues/133

Did you install libncurses5 ? (as strange as that sounds)

I just did it and this resolved the issue :-)

под вендой питон тоже работает

А зачем мне венда?

knd а когда для бинарного пакета amdvlk сделают 32 битную версию?
А то я ставлю его с вашего бинарного репозитария, а он содержит только 64 версию и в результате у меня не работает vulkan для вайна и протона, из-за чего не работает dxvk и часть зависящих от него или вулкана стимовских игрушек.

Что сделать чтобы Steam увидел имеющийся в системе Vulkan? \n (ОС смесь Debian Buster/Sid/Rocm, видеокарта Radeon VII) (комментарий)