22 июня был опубликован новый TOP500 суперкомпьютеров, с новым лидером. Японский суперкомпьютер «Fugaki», построенный на 52 (48 вычислительных + 4 под ОС) ядерных процессорах A64FX, занял первое место, обогнав в тесте Linpack прошлого лидера, суперкомпьютер «Summit», построенный на Power9 и NVIDIA Tesla. Данный суперкомпьютер работает под управлением Red Hat Enterprise Linux 8 с гибридным ядром на базе Linux и McKernel.
Процессоры ARM используются всего в четырёх компьютерах из TOP500, причём 3 из них построены именно на A64FX от Fujitsu.
Несмотря на использование процессоров на архитектуре ARM, новый компьютер всего на 9 месте по энергоэффективности с параметром 14.67 Гфлопс/Вт, тогда как лидер в этой категории, суперкомпьютер MN-3 (395 место в ТОП500), обеспечивает 21.1 Гфлопс/Вт.
После ввода Fugaki в строй, Япония, имея всего 30 суперкомпьютеров из списка, обеспечивает порядка четверти суммарной вычислительной мощности (530 Пфлопс из 2.23 Эфлопс).
Самый мощный компьютер России, «Christofari», являющийся частью облачной платформы Сбербанка, находится на 36 месте и обеспечивает примерно 1.6% максимальной производительности нового лидера.
4 декабря 2018 года вышла новая версия системы виртуализации Proxmox, которая позволяет создавать кластеры серверов виртуализации и контейнеров. В качестве бэкэндов используются KVM и LXC. Управление производится через веб-интерфейс или интерфейс командной строки. Система представляет собой дистрибутив Linux на основе Debian, либо может быть установлена на уже имеющуюся инсталляцию Debian GNU/Linux.
Научно-исследовательский вычислительный центр Московского государственного университета имени М.В. Ломоносова и Межведомственный суперкомпьютерный центр Российской академии наук сообщили о выпуске обновлённой редакции списка TOP 50 самых мощных компьютеров СНГ.
Лидером списка остаётся установленный в МГУ суперкомпьютер «Ломоносов-2», чья пиковая производительность составляет 4,9 петафлопс. На втором месте - суперкомпьютер, установленный в главном вычислительном центре Федеральной службы по гидрометеорологии и мониторингу окружающей среды с результатом 1.2 петафлопс. Третье место занял установленный в МГУ «Ломоносов», чья производительность составляет 901,9 терафлопс.
Все 50 систем в качестве основных процессоров используют процессоры Intel.
Proxmox Virtual Environment (Proxmox VE) — система виртуализации с открытым исходным кодом, основанная на Debian GNU/Linux. Разрабатывается австрийской фирмой Proxmox Server Solutions GmbH, спонсируемой Internet Foundation Austria.
В качестве гипервизоров использует KVM и LXC. Proxmox VE способна выполнять любые поддерживаемые KVM ОС (Linux, *BSD, Windows и другие) с минимальными потерями производительности или без потерь (в случае с Linux).
Управление виртуальными машинами и администрирование самого сервера производятся через веб-интерфейс либо через стандартный интерфейс командной строки Linux.
Для создаваемых виртуальных машин доступно множество опций: используемый гипервизор, тип хранилища (файл образа или LVM), тип эмулируемой дисковой подсистемы (IDE, SCSI или VirtIO), тип эмулируемой сетевой карты, количество доступных процессоров и другие.
Основные изменения и нововведения:
Proxmox VE 5.2 основана на Debian 9.4;
Добавлены новые функции, такие как:
пакет Cloud-init для автоматизации предоставления виртуальных машин;
надстройка управления CIFS/SMB через графический интерфейс пользователя;
надстройка управления сертификатами Let's Encrypt через графический интерфейс пользователя;
Расширены функциональные возможности создания кластеров Proxmox VE;
Ядро обновлено до версии 4.15;
Внедрена поддержка Cloud-Init для автоматизации подготовки виртуальных машин. Cloud-Init обрабатывает начальную конфигурацию виртуальной машины при ее первом запуске и позволяет создавать виртуальные машины с аналогичной конфигурацией;
Если установлен гостевой агент QEMU, IP-адрес виртуальной машины отображается в графическом интерфейсе;
Теперь администраторы могут легко создавать и редактировать новые роли через графический интерфейс;
Реализована настройка пределов ввода-вывода для дисковых операций (возможна глобальная или более тонкая настройка для каждой виртуальной машины);
Оптимизирована конфигурация ebtables в брандмауэре Proxmox VE.
Proxmox — это система виртуализации, являющаяся надстройкой над QEMU и LXC, то есть поддерживающая как полную, так и контейнерную виртуализацию. Возможна работа с кластерами из нескольких серверов с общими хранилищами и живая миграция виртуальных машин. Продукт распространяется под лицензией GNU AGPL, однако для получения доступа к репозиторию с актуальными стабильными обновлениями нужно приобрести подписку. Предоставляется как ISO-образ, основанный на Debian GNU/Linux, так и репозиторий пакетов для установки на уже имеющуюся инсталляцию Debian.
В рамках третьей научно-технической конференции GraphHPC-2016 по проблемам параллельной обработки больших графов с использованием суперкомпьютеров состоится конкурс GraphHPC.
В этот раз участникам предстоит найти самую быструю реализацию задачи Community Detection в неориентированном графе с весами.
Для реализации задачи участникам предлагаются две категории вычислительных систем: одноузловая вычислительная система (CPU и/ или GPU) и 36-узловой вычислительный кластер.
Огранизаторы приглашают к участию студентов, аспирантов, молодых ученых и IT-специалистов, для которых данный конкурс может стать реальным шансом заявить о себе перед научным сообществом и ведущими IT-компаниями.
На сайте конкурса вы можете ознакомиться с условием задачи и скачать пример реализации. Конкурс будет проводиться с 1 по 29 февраля при помощи автоматической системы, которая будет запущена 1 февраля, но работать над решением можно начинать уже сейчас.
Победителей конкурса и творчески отличившихся участников ждут ценные призы, а также они смогут рассказать о своей реализации задачи на конференции. Для студентов предусмотрена отдельная номинация.
Тройка лидеров не изменилась: первый — Tianhe-2 (Китай), второй — кластер Titan (США), третий — Sequoia (США).
Полностью исчезли из списка суперкомпьютеры с Windows, на текущий момент распределение по ОС: 98.8% Linux, 1.2% Unix.
В список вошли 7 отечественных суперкомпьютеров, а Китай почти утроил своё присутствие — с 37 до 109.
В основном используются CPU Intel — 89%, за ними — IBM Power — 5.2%, на третьем месте — AMD — 4.2%.
Среди производителей кластеров на первом месте компания Hewlett-Packard 31% (было 35.6%), на втором месте — Cray 13.8% (было 14.2%), на третьем месте — Sugon 9.8% (1%), на четвёртом — IBM 9% (18.2%), на пятом — SGI 6.2% (5.8%).
В рамках конференции EuroSys 2015, проходящей в Бордо в апреле (http://eurosys2015.labri.fr/), представлена статья «Large-scale cluster management at Google with Borg», в которой впервые публично описывается система управления кластерами используемая корпорацией Google.
Система основана на ядре Linux и использует механизм контейнеров для изоляции процессов. Виртуализация не используется или используется крайне редко в целях экономии ресурсов. Спецификация задач осуществляется посредством декларативного языка BCL (Borg Configuration Language), отдалённо напоминающего Haskell.
Также в статье отмечается что наработки более чем 10-летнего опыта эксплуатации Borg легли в основу открытой системы Kubernetes (http://kubernetes.io/)
29-го октября тихо и незаметно вышла 7-я мажорная версия ceph 0.87 «Giant». Основная идея Ceph — быть свободным и полностью распределенным хранилищем без единой точки отказа, расширяемым до эксабайтного уровня.
Список основных изменений:
Ускорение RADOS: внесены изменения в OSD и клиентской части librados, которые увеличивают пропускную способность на flash-бекэндах и улучшают параллелизм и масштабируемость на быстрых машинах.
CephFS: исправлены различные ошибки в CephFS, которые приводили к проблемам стабильности и производительности. К сожалению, CephFS всё еще не рекомендована к промышленному применению.
Код для локального восстановления: OSD теперь поддерживают erasure-coding схемы, которые содержат дополнительные блоки данных для уменьшения IO во время восстановления после отказа одиночного OSD.
Деградация vs ошибочное расположение: репорты о состоянии кластера Ceph во время вывода‘ceph -s’ и сопутствующих команд теперь делают различие между данными, которые находятся в состоянии деградации, и данными, которые неверно расположены(неверное расположение в кластере). Это важно, так как в последнем случае это не приводит к возможной потере данных.
Улучшения в мониторинге: мониторы теперь пишут данные асинхронно, что улучшает общую отзывчивость.
Компания HP объявила о расширении портфеля облачных решений и выпуске новой продуктовой линейки Helion, позволяющей организациям создавать рабочие нагрузки и управлять бизнес-приложениями в гибридных IT-средах.
В состав HP Helion включены несколько облачных решений, ключевыми из которых являются Helion OpenStack (линейка продуктов на базе технологии OpenStack), Helion Development Platform (PaaS-решение на базе платформы с открытым исходным кодом Cloud Foundry), OpenStack Technology Indemnification Program (программа защиты заказчиков HP, использующих код HP OpenStack, от претензий относительно нарушения патентных прав, авторских прав и прав интеллектуальной собственности, связанных с использованием только кода OpenStack или в сочетании с кодом Linux) и OpenStack Professional Services (сервисные услуги, предоставляемые консультантами и разработчиками HP, по планированию, внедрению и эксплуатации облачных решений).
Сервисы Helion OpenStack будут предоставляться HP по всему миру через партнерскую сеть, в которую входят более 110 поставщиков услуг из разных стран мира, а также в центрах обработки данных HP. Компания планирует предоставлять услуги на базе OpenStack для общедоступной облачной среды в 20 ЦОД в течение следующих 18 месяцев. Кроме того, облачные услуги на базе OpenStack будут предоставлять партнеры HP PartnerOne for Cloud.
Новые облачные решения HP Helion дополняют портфель гибридных облачных предложений компании. В него входят система HP CloudSystem, ПО Cloud Services Automation (CSA), предназначенное для управления гибридной IT-инфраструктурой, виртуальное управляемое частное облако HP и различные профессиональные услуги для облачной среды. В ближайшие два года HP планирует инвестировать 1 миллиард долларов в проекты, связанные с разработкой и поддержкой облачных решений, и ставит своей целью вывод решений Helion на мировой рынок.
7-го мая, тихо и незаметно, вышла 6-я мажорная версия ceph 0.80 «Firefly». Основная идея Ceph — быть свободным и полностью распределенным хранилищем без единой точки отказа, расширяемым до эксабайтного уровня.
Список основных изменений:
чистка кода для стабилизации работы и минимизации накладных расходов при работе с данными;
поддержка пула кэшэй. Наиболее часто используемый кэш может быть помещен на SSD для увеличения скорости работы;
возможность указать, какие OSD будут хранить основную копию данных;
эксперементальная поддержка бэкэндов OSD типа ключ/значение;
эксперементальная поддержка radosgw в одиночном режиме.
Группа специалистов из лаборатории компании IBM в Цюрихе, возглавляемая доктором Патриком Рушем (Dr. Patrick Ruch) и доктором Бруно Мичелом (Dr. Bruno Michel), представила опытный образец вычислительной системы, компьютера, который имеет сложную трехмерную структуру и который приводится в действие субстанцией, которую исследователи называют «электронной кровью», окислительно-восстановительного электролита, который несет энергию для работы компьютера и одновременно отводит выделяющееся тепло. Разрабатывая такой необычный компьютер, специалисты компании IBM стремились максимально точно подражать принципам строения головного мозга, который охлаждается и черпает энергию для своей работы из потока жидкости. Благодаря этому, в достаточно небольшом объеме, занимаемом мозгом человека, сосредоточена огромная вычислительная мощность, а для работы мозга в целом требуется всего около 20 Ватт мощности в сутки.
Разработка столь необычной вычислительной системы делает исследователей на один шаг ближе к их конечной цели. А этой целью является разработка компьютера петафлопс-уровня, который будет иметь размер, сопоставимый с размером обычного настольного компьютера, а не занимать площадь, равную площади футбольного поля. Для реализации этой цели, которая, согласно прогнозам, может осуществиться к 2060му году, потребуется изменение основополагающих принципов и парадигм в современной электронике. «Электроника должна по своему строению и по принципам функционирования вплотную приблизиться к головному мозгу» - рассказывает доктор Бруно Мичел, - «Ведь головной мозг человека в настоящее время в 10 тысяч раз более эффективен, чем самый эффективный компьютер, и имеет минимальное отношение вычислительной мощности к занимаемому объему».
Опытный образец вычислительной системы, созданной специалистами IBM, имеет трехмерную «бионическую» вычислительную архитектуру, в которой процессорные чипы складываются в объемные структуры, чередуясь с устройствами памяти. А всю эту структуру в целом пронизывает сеть капилляров, по которым течет охлаждающая жидкость, которая наполняется энергией в специальных «зарядных» устройствах и отдает эту энергию прямо внутри чипов процессоров. Подобная система Aquasar уже была опробована на практике, благодаря чему германский суперкомпьютер SuperMUC только за счет высокоэффективного охлаждения потребляет на 40 процентов меньше энергии, чем обычные суперкомпьютеры с таким же уровнем вычислительной мощности.
Apache Software Foundation анонсировал выход Hadoop 2.2, платформы для параллельной обработки больших объемов данных и параллельных вычислений. Версия 2.2 стала первой стабильной версией в семействе 2.x.
Основные новинки Hadoop 2.x:
YARN — новая платформа управления задачами и ресурсами кластера, расчитанная на одновременный запуск различных приложения на кластере. Помимо Map-Reduce приложений, ядро теперь поддерживает поточные приложения, приложения баз данных, серверы для выполнения интерактивных запросов и т.п. Подробности о отличии новой архитектуры от 1.x можно прочитать в анонсе в блоге компании Hortonworks.
NameNode, центральный индекс узел файловой системы HDFS, обзавелся собственными средствами обеспечения высокой доступности. В прошлых версиях NameNode являлась единой точкой отказа, и для повышения его надежности использовались сторонние решения
NameNode теперь может быть разделен на несколько узлов, обслуживающих различные пространства имен
HDFS, файловая система Hadoop, теперь так же доступна через NFSv3
FusedOS – операционная система общего назначения, разработанная в исследовательской лаборатории IBM. Цель – обеспечение совместной работы универсальных программ для Linux и специализированных кластерных решений. Доступный для загрузки прототип предназначен для выполнения на архитектуре суперкомпьютеров IBM Blue Gene/Q.
Стандартное окружение FusedOS аналогично таковому в Linux, благодаря чему можно выполнить любую программу по SSH. Запуск специализированных решений для ядер кластерных узлов IBM (CNK, Computer Node Kernel) осуществляется с помощью утилиты «cl». Таким образом FusedOS реализует гибридную двуплатформенную среду. Программы разделяют общие ресурсы, при этом доступна более тесная интеграция, чем при использовании виртуализации: возможно даже взаимодействие между процессами, запущенными на разных экземплярах операционной системы.
FusedOS позволяет использовать менеджер ресурсов SLURM, который обеспечивает поддержку Message Passing Interface (MPI) – API, предназначенного для обмена сообщениями между процессами, выполняющими одну задачу. Одно из ключевых преимуществ FusedOS – снимается привычное ограничение CNK: один узел – одно приложение. Теперь на одном узле можно одновременно запускать несколько программ для CNK.
FusedOS выпущена под свободной лицензией EPL (Eclipse Public License), за исключением некоторых компонентов под GPL v2. Это сделано, чтобы привлечь сторонних разработчиков, заинтересованных в развитии гибридных решений. Исходные коды, детальное описание и инструкции доступны на github.com.
Применение суперкомпьютерных технологий на острие науки
Науки о материалах
Вычислительная гидродинамика
Нефтегазовая промышленность
Биомедицинские науки
Криптоанализ
Новейшие достижения в области масштабируемых алгоритмов для больших вычислительных систем
Актуальные задачи суперкомпьютерной отрасли
Как решать проблемы ввода-вывода данных в будущем
Системные задачи суперкомпьютерной отрасли (отказоустойчивость, восстановление после сбоев)
Энергоэффективность суперкомпьютерных центров
Новые технологии для ОЗУ
Дизайн микросхем
Высококлассные системы на подступах к экзаскейлу
Модели и инструменты разработки ПО
«Большие данные» и суперкомпьютерные технологии
Будущие модели разработки ПО, модели и архитектуры для его выполнения
Приобретение и освоение
Двухдневная индустриальная сессия
Цель индустриальной сессии - демонстрация экономической значимости и индустриального применения высокопроизводительных технологий. Индустриальная сессия также поможет представителям индустрии в вопросах приобретения и использования высокопроизводительных систем.
Интерконнект и топологии высокпроизводительных систем - современные достижения и тренды
Высокопроизводительные облака: от алгоритмов к приложениям
Отсутствующее связующее звено: как высокопроизводительные технологии смогут помочь промышленности?
Стенды
Как защитить инвестиции в высокопроизводительные технологии в будущем?
Файловые системы для высокопроизводительных вычислителей: задачи на ближайшее будущее
Отдельные доклады
Технологии и компьютеры для задач предсказания погоды и
климата
Как пользоваться новым 65-магаваттным суперкомпьютером Bluffdale: введение в криптоанализ
Вычислительная химия и высокопроизводительные технологии
Новые технологии энергосбережения в ОЗУ
Данные с большими числами - не просто большие данные
Вышла новая версия кластерного хранилища данных Ceph 0.56.1 «bobtail». Данная версия является обновлением предыдущей «стабильной» версии Ceph 0.48 «argonaut». По сравнению с предыдущей версией Ceph 0.48 «argonaut» можно отметить следующие улучшения:
аутентификация включена по умолчанию;
уменьшена нагрузка на ввод-ввывод при восстановлении;
добавлена возможность создания изменяемых снапшотов (клонирование данных блочного хранилища rados);
интеграция с OpenStack Keystone;
улучшенная поддержка Swift и S3 API, сбор статистики использования;
поддержка openSUSE, SLES, Fedora, RHEL, CentOS (ранее только Debian/Ubuntu);
множество улучшений для повышения стабильности и производительности.
