RadeonOpenCompute — это свободный набор драйверов, библиотек и утилит для реализации OpenCL и технологий машинного обучения для платформ на базе видеокарт AMD. Развивается компанией AMD.

Набор включает в себя модуль ядра rock-dkms, компиляторы HCC, HIP и версию rocm-clang-ocl, библиотеки для поддержки OpenCL, наборы библиотек и примеров для реализации базовых алгоритмов машинного обучения.

В новом выпуске:

• Поддержка новых видеокарт на базе Vega20 7nm
• Поддержка Ubuntu 20.04/18.04, RHEL/Centos 7.8 и 8.2, SLES15
• Новая библиотека hipfort для поддержки ускорения вычислений на видеокартах для языка Fortran
• ROCm Data Cetner Tool — новая утилита для мониторинга видеокарт и выполняемых на них задач
• Появилась возможность статически линковать библиотеки ROCm в приложениях
• Видеокарты GFX9 (Radeon Vega 56/64, Radeon VII) теперь не требуют поддержки PCIe Atomics, а значит, могут работать на более широком спектре процессоров и материнских плат
• Видеокарты GFX9 могут работать через интерфейс Thunderbolt

Внимание! Обновление с предыдущих версий не поддерживается! Вам необходимо полностью удалить предыдущие версии ROCm перед установкой ROCm 3.8.0!

>>> Подробности

Драйвер NEO OpenCL от Intel обновлён до версии 19.20.13008. Он предоставляет поддержку OpenCL 2.1 для Intel GPU начиная с Broadwell. Тем, у кого Haswell или более старый GPU, предлагается использовать драйвер Beignet, который имеет статус Legacy.

Среди изменений: Intel Graphic Compiler обновлён до версии 1.0.4.

Инструкция по установке, инструкция по сборке в CentOS 7. Примечания к релизу: Fine grained SVM не поддерживается в этом релизе. Если у вас Ubuntu 16.04.4 и дефолтное ядро 4.13, то для CFL-платформ нужно добавить параметр ядра i915.alpha_support=1

В марте, благодаря драйверам Intel с открытым исходным кодом, стало известно про новый SoC Intel Elkhart Lake. Теперь, благодаря ним же, стало известно кодовое имя PCH, который будет в них использоваться - Mule Creek Canyon.

Состоялся релиз Vulkan 1.1.109, в который вошли два новых расширения от Intel:

• VK_INTEL_performance_query - это расширение позволяет приложению захватить данные о производительности для дополнительной аналитики отдельной библиотеки/приложения. Этим расширением будут пользоваться Intel Graphics Performance Analyzers и Intel Metrics Discovery library. Также это расширение может оказаться полезным для сторонних утилит для анализа/профилирования
• VK_INTEL_shader_integer_functions2 - это расширение добавляет новые целочисленные инструкции в SPIR-V, подобные расширению GLSL для OpenGL INTEL_shader_integer_functions2

В драйвере Intel «Iris» Gallium3D для Linux появилась поддержка дискового кэша шейдеров. Ранее эта возможность присутствовала в Classic Mesa драйвере для Linux. Поддержку стоит ожидать в Mesa 19.2.

Наконец, Intel работает над использованием высокопроизводительной памяти eLLC/eDRAM для write-back кэширования буферов дисплея. Это будет работать на Skylake и новее, но не на более старых чипах, в которых тоже есть eDRAM.

>>> Новость про новый драйвер NEO OpenCL

>>> Новость про кодовое имя нового PCH

>>> Новость про расширения для Vulkan

Выпущена новая версия старейшей поддерживаемой программы для подбора паролей John the Ripper 1.9.0-jumbo-1 (проект развивается с 1996 года). На странице проекта доступны для скачивания исходники, а также готовые сборки под Windows.

Отмечается, что с выхода версии 1.8.0-jumbo-1 прошло 4.5 года, за которые было внесено более 6000 изменений (git commits) от более 80 разработчиков. В течение этого срока разработчики рекомендовали использовать текущую редакцию с GitHub, состояние которой поддерживалось стабильным несмотря на вносимые изменения благодаря непрерывной интеграции, включающей предварительную проверку каждого изменения (pull request) на многих платформах. Особенностью новой версии является появление поддержки FPGA (ПЛИС) в дополнение к CPU, GPU и Xeon Phi.

( читать дальше... )

>>> Подробности

В релизе 5.0.0 программы hashcat для подбора паролей по более чем 220 типам хешей (с использованием возможностей видеокарт) разработчик представил множество улучшений (список под катом) и 2 важных новведения - hashcat brain и slow candidates:

slow candidates - новый шаблон паролей, оптимизированый на продвинутые генераторы словарей и новые поколения движков генераторов паролей (table attack, kwprocessor, OMEN, PassGAN, PCFG, princeprocessor). На данный момент это используется для прямой атаки (включая движок учета правил), комбинированной атаки, атаке по маске (брутфорс с оптимизацией Маркова), включается ключем -S/--slow-candidates. Особенно полезным это будет в случае необходимости атаки большого списка быстро рассчитываемых хешей с большим выбором соли, или для медленно расчитываемых хешей с заданным правилом сужающим выборку кандидатов-паролей.

hashcat brain - новый инструмент для одиночной и коллективной работы с зашифрованными паролями, включающий такие понятия как долгосрочная и краткосрочная память (база данных), по аналогии с принципами хранения краткосрочной и долгосрочной информации в мозгу человека. Для кандидатов-паролей программа будет расчитывать быстрый хэш xxHash и сверять его с долгосрочной и краткосрочной памятью, по результатам перебора программа будет перемещать кандидатов из долгосрочной в краткосрочную память. Для организации работы используется клиент-серверный принцип, что позволяет использовать её коллективнно при совместной работе (при локальном использовании требует параллельной работы 2 приложений).

Пример использования сетевых возможностей - для атаки долго-рассчитываемых хешей несколькими участниками использующих разные алгоритмы генерации кандидатов-паролей эта структура позволит снизить число необходимых запусков расчета хеша для повторяющихся кандидатов (полученных генерацией разными алгоритмами). Пример пользы при локальном использовании - программа запоминает отработанные пароли, упрощает учет повторов при локальных атаках разными алгоритами (при этом не требует от администратора дополнительных действий для учета). При любом использовании, за счет наличия двух типов памяти программа автоматически делает учет умнее чем любой ручной учет работы, что особенно удобно при наличии знаний о правилах позволящих сузить поиск пароля или, наоборот, при использовании генераторов словарей (выдающих множество повторов).

Примеры и данные о ресурсоемкости интеллектуальной функции (отключаемой через ENABLE_BRAIN=0) - в анонсе (по ссылке).

( читать дальше... )

>>> Подробности

Представлен выпуск PoCL 1.0 - портабельной реализации стандарта OpenCL.

Исходный код распространяется по лицензии MIT.

Есть поддержка платформ: X86_64, MIPS32, ARM v7, AMD HSA APUs и различных специализированных TTA-процессоров c архитектурой VLIW.

Поддерживаются ICD-драйверы. Присутствуют back-end'ы для работы через CPU, ASIP (TCE/TTA), GPU на базе архитектуры HSA и GPU. Реализация компилятора ядер OpenCL построена на базе LLVM, а в качестве front-end'а OpenCL C используется Clang.

( читать дальше... )

>>> Анонс релиза

В новом релизе 4.0.0 программы hashcat для подбора паролей по более чем 200 типам хешей с использованием видеокарты разработчик представил множество улучшений, касающихся поддержки длинных строк:

• Максимальная длина пароля увеличена до 256.
• Дополнительное ядро с новой низкоуровневой реализацией функций хеширования HashInit, HashUpdate, HashFinal по аналогии с OpenSSL (новое ядро быстрее взаимодействует с внешними криптографическими модулями, уступаю старому ядру только с теми модулями, где была произведена ручная оптимизация; старое ядро доступно для использования).
• Проверка OpenCL-библиотеки в момент запуска программы быстрым подбором пароля по известной комбинации хеш-пароль (ранее, после неудачной инициализации некоторых версией OpenCL библиотек AMD и Nvidia, пользователь не получал никаких сообщений об ошибке, при этом программа работала неправильно).
• Поддержка паролей Wi-Fi типа 2500/2501 WPA/WPA2 PMK (перебор по предварительно рассчитанным программой wlanhcx2psk списком PMK строк).
• Другие оптимизации OpenCL и исправления ошибок.

>>> Подробности

Компания AMD разместила под свободной лицензией ROCm (Radeon Open Compute) — собственную реализацию OpenCL. Доступен исходный код runtime-библиотеки, драйвера, патчей для LLVM/Clang и эталонной реализации загрузчика OpenCL ICD от Khronos.

В настоящее время этот стек доступен только для видеокарт на архитектурах Fiji и Polaris. Для более старых карт пока предлагается незавершённая реализация OpenCL Clover, поставляемая в составе Mesa.

>>> Подробности

Новая версия утилиты от AMD для оценки производительности и отладки различных API на CPU/GPU:

• OpenGL/OpenCL/Vulkan/DirectX12;
• opensource;
• поддержка Windows/Linux (deb/rpm/tar.gz в секции релизов на github);
• кросс-платформенная удалённая оценка производительности(Win>Lin и наоборот);
• режим анализа шейдеров для архитектуры(AMD'шных чипов).

Отладка OpenCL в настоящий момент работает только на AMD, UI написан на Qt (судя по возможности интеграции в VisualStudio — часть ещё и на .Net), а код backend'ов на чистом C++.

Багов пока много - из тех, что заметил - rpm инсталятор не корректно обрабатывает зависимости(на suse/42), Qt/OpenGL не заработал, а на glxgears/встроенном примере чайника выдал лишь glx функции без GL (под windows список GL функций был). часть багов, похоже, для платформ не от AMD (nvidia в моём случае, возможно из-за драйвера с GLVND). в общем, новость получилась больше о том, что утилита вышла, чем о том, что ею можно сразу пользоваться;)

>>> Подробности

Программы oclHashcat и hashcat для подбора паролей по хешу, использующие мощности видеокарт, переведны на лицензию MIT

https://hashcat.net/forum/thread-4880.html
https://github.com/hashcat/

Одновременно выпущена новая версия hashcat 2.0 и анонсировано слияние в дальнейшем проектов hashcat и oclHashcat в один.

>>> Подробности

В ближайшее дни компания AMD готовится открыть исходный код runtime-библиотеки HSA (Heterogeneous System Architecture — архитектура гетерогенных систем) под свободной лицензией.

Опубликованная в прошлую субботу пятая версия драйвера ядра AMDKFD является важным шагом на пути к открытию кода HSA, согласно планам AMD. Новая версия добавила поддержку пакетов HSA Architected Queue Language (AQL), новую версию ioctl и различные исправления.

Одед Гэббей (Oded Gabbay) из AMD перед началом работы над пятой версией AMDKFD заявил следующее: «Эта версия будет выпущена за несколько дней перед выпуском библиотеки AMD HSA Runtime в качестве свободной библиотеки. Вместе с модификацией Томаса Стелларда (Thomas Stellard), который сделал LLVM-бэкенд для r600, AMD выпустит стек, работающий полностью в пользовательском пространстве, для выполнения HSA-приложений с использованием ядер и написанных на OpenCL C99 поверх amdkfd». Это означает, что в ближайшее время AMD выпустит runtime-библиотеку HSA под свободной лицензией.

Ранее компания обещала открыть стек к концу года. И последние релизы показывают это. Так, например, в прошлом месяце AMD добавила код нативных объектов в драйверы, что также стало значительным шагом вперёд. Соответственно, препятствий для открытия кода быть не должно.

>>> Подробности

Обновилась программа подбора паролей, использующая мощности видеокарты через интерфейсы OpenCL и CUDA. Добавлена поддержка алгоритмов Skype, Peoplesoft, md5($salt.md5($pass)), Mediawiki B type, Kerberos 5 AS-REQ Pre-Auth etype 23 (улучшен), Android FDE , scrypt, Password Safe v2, Lotus Notes/Domino 8. Увеличена скорость подбора по другим алгоритмам (статистика доступна на странице со списком изменений). Для компиляции бинарных файлов теперь используется собственный toolchain со старым glibc (для совместимости со старыми версиями различных Linux дистрибутивов).

>>> Подробности

По договорённости с редакцией Linux Format выложил в открытый доступ цикл статей по параллельному программированию, которые были опубликованы в журнале с февраля по июль этого года.

Кратко рассмотрены пакетные (batch) системы, MPI, CUDA, OpenCL и примеры работы с кластерами. Также во введении есть сопутствующее мини-интервью с Романом Троганом из Parallela.

P.S. Если будет интерес, то начну процедуру выкладывания исходников статей под открытой лицензией.

>>> Сами статьи

Более 50 коммитов, касающихся поддержки OpenCL в Calc, отправлены в git-репозиторий проекта LibreOffice. Поддержка OpenCL позволяет вынести ресурсоемкие вычисления в ряде функций с CPU на GPU, тем самым ускорив обработку сложных или объемных электронных таблиц. Среди функций, получивших аппаратное ускорение, доминируют функции, связанные с финансовым анализом данных, и статистические функции.

( читать дальше... )

Ожидается, что эти изменения войдут в LibreOffice 4.2, выход которого намечен на февраль 2014 года.

>>> Подробности

Корпорация Intel выпустила первую версию Beignet — собственной открытой среды исполнения OpenCL и бекенда LLVM для Linux, рассчитанного на работу на процессорах с архитектурой Ivy Bridge. На данный момент частично реализована поддержка стандартов OpenCL 1.0 и 1.1. Проект не использует Gallium 3D. В рассылке intel-gfx ставится под сомнение необходимость создания этого проекта, так как он практически полностью дублирует уже существующую функциональность, доступную в Mesa.

>>> Подробности

Состоялся выпуск проприетарных драйверов Catalyst 12.4 для видеокарт ATi/AMD.

Как всегда, сама компания AMD не написала Release Notes с изменениями в новом драйвере, поэтому он взят с ресурса phoronix.com, а часть изменений была найдена в Release Notes (PDF, англ) к AMD APP SDK 2.7.

( читать дальше... )

Отдельно стоит отметить релиз AMD APP SDK v2.7. Из Release Notes непонятно, входят ли библиотеки OpenCL из его состава в драйвер Catalyst 12.4, или просто Calatyst 12.4 минимум необходим для него. Проверить можно только установив и набрав clinfo в консоли. Если OpenCL 1.2, то входит. В любом случае, SDK не входит в драйвер полностью, в нём нет заголовочных файлов для компиляции, документации и примеров. Кроме того, вышла Linux-версия программы gDEBugger 6.2, загружаемой отдельно от AMD APP SDK.

( читать дальше... )

Драйвер (run-файл, 103 Мб)

Новый SDK

Новый gDEBugger

>>> Подробный список изменений (PDF, англ)

Спустя несколько месяцев бета-тестирования состоялся релиз седьмой версии известного клиента распределенных вычислений BOINC.

Основные изменения:

• Локализация и повышение удобства пользования графического интерфейса в простом режиме.
• Поддержка OpenCL.
• Улучшение Virtual Machine Support.
• Новый планировщик ресурсов.

В настоящее время в сети распределенных вычислений BOINC задействовано примерно полмиллиона компьютеров с общей производительностью более 7 петафлопс.

>>> Подробности

Создатели популярного свободного графического редактора GIMP выпустили новую версию движка GEGL, который предназначен для недеструктивной обработки графики с высокой разрядностью на цветовой канал.

Особенностью этой версии является экспериментальная поддержка рендеринга и вычислений на GPU при помощи OpenCL. Проект был реализован бразильцем Виктором Оливейрой сначала при поддержке Google (GSoC2011), а затем по контракту с AMD.

Использование OpenCL для вычислений на GPU понемногу становится в СПО трендом. К настоящему моменту этот стандарт задействован в таких свободных проектах, как darktable, Blender, LuxRender, Mandelbulber. Теперь к ним присоединился и GEGL.

Помимо этого командой подготовлен первый релиз-кандидат стабильной версии 2.8, в которой ожидается опциональный однооконный режим, группы слоёв, новый инструмент трансформации по рамке, улучшенная кистевая динамика и прочие нововведения.

Одновременно с этим в ветке goat-invasion уже по факту произошёл переход на использование GEGL: старый менеджер тайлов заменён на GeglBuffers, часть инструментов цветокоррекции использует GEGL напрямую, часть старых фильтров заменена на операции GEGL, доступные из меню, проектные данные пишутся (и читаются) в XCF уже со структурой данных GEGL. Результат этой работы будет доступен в версии 2.10 (необязательно сразу с высокой разрядностью на цветовой канал).

>>> Подробности

Состоялся выпуск проприетарных драйверов Catalyst 11.12 для видеокарт ATi/AMD.

В этом выпуске улучшению подверглись такие компоненты:

• Специалисты из компании Google получили доступ к исходному коду драйвера для Linux, и в релизе 11.12 представили улучшения библиотеки OpenGL, улучшающие стабильность этого компонента драйвера. Компонент WebGL веб-браузера Chrome/Chromium больше не относит видеокарты ATi/AMD с драйвером 11.12 и выше к чёрному списку устройств;
  
• Официальная поддержка дистрибутива RHEL 6.2;
  
• Улучшение работы многомониторных конфигураций;
  
• Многочисленные исправления ошибок.

Отдельно стоит отметить релиз AMD APP SDK v2.6. Его библиотеки уже включены в драйвер Catalyst, и для работы с OpenCL больше не требуется устанавливать SDK. Он требуется только для разработчиков программ, или компиляции (include-файлы). Изменения в новой версии AMD APP SDK:

• Добавлен Khronos C++ wrapper API (по ссылке - спецификация в формате PDF);
  
• Поддержка PX5 (кто понял, что это такое - напишите в комментариях);
  
• Поддержка Multi-GPU на платформе Linux;
  
• Предварительно: поддержка процессорных инструкций AVX для процессоров, которые их имеют;
  
• Поддержка процессорных инструкций FMA4 во встроенных в библиотеку OpenCL функциях для процессоров, которые имеют эти инструкции;
  
• Отражение ядра (kernel reflection), опрос параметров ядра, возможность использования ядра OpenCL в приложениях для управления данными (data-driven applications);
  
• Поддержка атомарных счётчиков в APU;
  
• Переписан код OpenCL для CPU, производительность выросла;
  
• Добавлено расширение cl_amd_media_ops2, позволяющее ускорять операции, связанные с обработкой изображений;
  
• Предварительно: поддержка асинхронного копирования. Для включения этой возможности необходимо присвоить значение переменной GPU_ASYNC_MEM_COPY=2.

Предварительная поддержка стандарта OpenCL 1.2 включает в себя следующие возможности:

• Возможность размещения флагов доступа для объектов в памяти для более эффективного управления буфером;
  
• Pattern-based буфер GPU и инициализация изображения избавляют от необходимости в некоторых операциях передачи изображения или буферов;
  
• Возможность миграции объектов памяти позволяет быстрее предоставить буфер для операций, когда он потребуется;
  
• Новый, обобщённый API для создания изображения;
  
• Улучшение в операциях с картами изображений и буферов;
  
• OpenCL 1.2 разделение устройства CPU, включая разделение CPU после добавления контекста;
  
• Обобщение 1D- и 2D-изображений, массивов изображений, и взаимодействий буферов с изображениями.
  

Для того, чтобы попробовать OpenCL 1.2 от AMD, необходимо также установить предварительную версию драйвера 8.93.10. Эта версия драйвера также позволяет использовать статическое ядро языка C++. Чтобы не перегружать новость (и поленившись переводить), я опустил изменения в KernelAnalyzer v 1.1, ссылка на полный Release Notes доступна ниже. Также обновился gDEBugger с версии 6.0 до версии 6.1, среди изменений только увеличение производительности и надёжности.

Release Notes от AMD APP SDK 2.6 на английском языке (PDF)

Release Notes от Catalyst 11.12 на английском языке (неофициальный)

Страница загрузки AMD APP SDK 2.6

>>> Страница загрузки Catalyst 11.12

Известный производитель микросхем программируемой логики, компания Altera, представила общественности проект по созданию инструмента, позволяющего исполнять на FPGA код, написанный для OpenCL. OpenCL является основанным на C открытым стандартом для параллельного программирования. В настоящее время он активно используется для переноса на графические карты вычислений, требующих высокой производительности. Интерес к графическим картам был вызван в первую очередь тем, что применяемые в них процессоры способны одновременно выполнять большое число операций, что позволяет достичь колоссальной производительности на хорошо распараллеливаемых задачах. Эти же соображения подтолкнули разработчиков обратить внимание на FPGA. Altera стала членом рабочей группы по OpenCL в январе прошлого года.

Анонсированный инструмент поддерживает системы, сочетающие программируемую логику с ARM или x86 процессорами. Первые результаты применения этой технологии показали 35-кратный прирост производительности в сравнении с классическими многоядерными решениями и пятидесятипроцентное уменьшение времени разработки в сравнении с разработкой на HDL.

Сайт проекта

Анонс

>>> Подробности

15 ноября сего года вышел обновлённый стандарт OpenCL 1.2 (revision 15) — фреймворка для параллельных вычислений на различных графических и центральных процессорах. В фреймворк OpenCL входят язык программирования, который базируется на стандарте C99, и интерфейс программирования приложений. OpenCL обеспечивает параллелизм на уровне инструкций и на уровне данных и является реализацией техники GPGPU. OpenCL является полностью открытым стандартом, его использование не облагается лицензионными отчислениями.

>>> Подробности