Это первый релиз Kerrighed, основанный на ядре 2.6.30 (так что теперь можно будет разворачивать кластеры на новом железе, которое не поддерживалось предыдущей версией с ядром 2.6.20). Кроме того, существенно переработана архитектура Kerrighed, и теперь рабочее окружение запускается в легковесных линуксовых контейнерах (что, правда, влечёт небольшие дополнительные расходы на уровне 1-2%). Основные усовершенстования коснулись системы заморозки и перезапуска работающих программ (checkpoint/restart) и, само собой, исправлено большое число ошибок.

Напомню, что Kerrighed - это кластерная операционная система, относящаяся к типу так называемых Single System Image (SSI). Это означает, что с его помощью сеть компьютеров, объединенная в кластер, выглядит как одна большая машина, и процессы, запущенные на одном из узлов, могут свободно перемещаться на другие узлы. Кроме того, Kerrighed поддерживает (как уже говорилось) механизмы checkpoint/restart и общую глобальную память.

Список кластеров под управлением kerrighed и их описание

>>> Подробности

Компания Google официально делегировала развиваемым под эгидой Apache свободным проектам права по использованию технологий, фигурирующих в патенте 7650331 («Системы и методы эффективной высокомасштабируемой обработки данных»). В патенте изложены принципы реализации метода MapReduce, который активно используется в таких проектах, как Apache Hadoop и Apache MapReduce.

Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

Apache Hadoop

Apache Mapreduce

Новость на английском

>>> Подробности

Cassandra - это не-SQL хранилище данных, изначально написанное для Facebook. Недавно оно стало одним из основных проектов Apache Software Foundation (новость на opennet). И вот теперь стало известно о том, что Twitter будет переходить на эту БД с использовавшегося ранее MySQL.

Перевод интервью.

>>> Оригинал интервью

В 2008-с году Китай ворвался в топ самых быстрых компьютеров в мире, заняв сразу 11-е место. Суперкомпьютер Dawning 5000a работает на процессорах AMD под управлением операционной системы Windows HPC Server.
Сейчас планы китайских ученых еще более амбициозны. Новый суперкомпьютер Dawning 6000 будет построен на процессорах, полностью разработанных в Китае - Loongson 3 с архитектурой MIPS. Операционная система - Linux. Предполагается, что производительность суперкомпьютера достигнет петафлопсного уровня.

>>> Подробности

Тихо и незаметно обновился PelicanHPC (с 1.9.3 до 2.0) - основанный на Debian liveCD-дистрибутив для простого создания кластера. (HPC - high performance computing). В девичестве PelicanHPC - ParallelKnoppix. Особенности этого релиза:

• PelicanHPC 2.0 подготовлен на основе ветки Debian «testing» вместо «stable» - это означает, что для большинства пакетов есть новые версии. В частности, ядро обновилось до 2.6.30 и Open MPI до 1.3.3.
• Новые MPI связи для GNU Octave.
• Возможность использования версию Octave 3.2.x вместо 3.0.x, которая дает некоторый прирост производительности.
• модуль Monte Carlo и ядро были адаптированы к использованию новых связей.
• Система мониторинга Ganglia установлена и предварительно настроена для работы с 4 хостами.

Сайт проекта http://idea.uab.es/mcreel/ParallelKno...

PelicanHPC Tutorial http://pareto.uab.es/mcreel/PelicanHP...

Русский рассказ про установку (старая версия) http://cluster.linux-ekb.info/QuickSt...

Скачать можно отсюда: http://download.mi.hs-heilbronn.de/pelicanhpc/

>>> http://idea.uab.es/mcreel/ParallelKnoppix/

Ноябрьская редакция 2009 нового Top500 самых мощных компьютеров мира, в очередной раз и безоговорочно признала победу Linux. На 446(89.2%) суперЭВМ списка установлен Linux, 25(5.0%) на Unix, 1(0.2%) суперЭВМ на BSD и 23(4.6%) смешанного типа операционные системы. И только 5(1%) суперкомпьютеров используют Windows, точнее Windows HPC 2008. Windows в этом году не увеличил свою долю. А вот Linux увеличил свою долю по сравнению с предыдущей редакцией списка(июль 2009) на 2 суперЭВМ. В этой редакции Unix впервые за последние 10 лет увеличил на 0.4% свою долю. До этого она в основном падала. BSD не изменила свои позиции, а MacOS после того как выпала в июне, так и не вернулась в список.

p.s. Как и говорилось уже ранее, анализ списка говорит о том, что доля Linux растет уже 11 лет подряд, а именно в ноябре 1998 года первый компьютер на Linux попал в этот список и теперь с каждый годом этот показатель растет. Доля Windows за все время не превышала 1.5% в списке и в основном все суперкомпьютеры на Windows появляются в списке только тогда, когда Microsoft выпустит очередную версию Windows Server.

>>> Подробности

Тихо и незаметно вышел очередной выпуск DragonFly BSD. Это клон семейства BSD являющийся форком FreeBSD 4.8 и представляющий собой альтернативный путь развития ядра (автор и идеолог Диллан, категорически не согласился с изменениями в ядре FreeBSD 5.0 и форкнул её уведя с собой ~200 разработчиков freebsd). Таким образом, сабж представляет собой альтернативное развитие freebsd-4.*.

Система интересна тем, что она оставаясь юниксом, имеет полностью асинхронное ядро основанное на модели LWKT Матвея Диллана. Относится к монолитно модульным ядрам, но с минимальным функционалом, драйверы и всё по максимуму выносится из ядра. Основная цель проекта DragonFly это изначальная поддержка кластерности ядром. То есть, создание сложной структуры управления кэшем для файловых систем, файлов, виртуальных машин, что позволяет очень интерактивным программам работать на многих узлах кластера одновременно с полной гарантией когерентности во всех аспектах работы программы. Включает в себя агрегацию ресурсов в том числе процессорных, методом контроля за виртуальной машиной, для безопасного предоставления ресурсов даже через Интернет (проект DragonFly BSD не ставит безопасность как свою первоочередную цель, для безопасности и корректности есть OpenBSD)

Пакетный менеджер - адаптированный pkgsrc http://www.pkgsrc.org/

Основная файловая система - HAMMER http://www.dragonflybsd.org/hammer/

Существенным недостатком системы субъективно считаю сложность мат-модели, и как следствие, сложность написание программ под эту систему, хотя портирование более 6000 пакетов с BSD/GNU/Linux свидетельствует о хорошей совместимости... Пока работает только на x86 и amd64, в планах есть порты на другие архитектуры...

Желающим работать совет дождаться DragonFly BSD 2.4.1 примерно в конце октября сего года..

>>> DragonFly BSD 2.4

Учёные из Sandia National Laboratories, Livermore, Калифорния, создали модель сети Интернет в рамках суперкомпьютера Dell Thunderbird. Машина имеет 4480 процессоров. На ней был запущен один миллион копий Linux c работающим WINE. Цель проекта - изучить поведение ботнетов и разработать эффективное средство подавления.

>>> Подробности

Тихо и незаметно вышел релиз 2.0 кластерной файловой системы glusterfs. Данная ФС достаточно проста в установке и очень гибка в настройке благодаря механизму трансляторов (translators), позаимствованому в операционной системе GNU/Hurd.

Список изменений в новой версии и предлагаемые изменения в будущих: http://gluster.org/docs/index.php/Glu...

В весеннем сеансе 2009 года на установке ОКА в Институте Физики Высоких Энергий (Протвино) системой сбора было записано 830 Гигабайт данных на кластер из четырёх узлов хранения (две пары дублирующих друг друга узлов), оборудованных данной ФС. К осеннему сеансу предполагается добавить новые диски на те же узлы кластера, чтобы увеличить объём хранилища до 5-8 Терабайт.

>>> Подробности

Российское представительство Sun Microsystems передало физическому факультету Санкт-Петербургского государственного университета (СПбГУ) вычислительный комплекс, состоящий из счетного кластера и учебного класса на 20 рабочих станций.

>>> Подробности

Самый производительный компьютер, построенный по программе «Скиф-Грид» компанией «Т-платформы» и принятый сегодня госкомиссией, установлен в НИВЦ МГУ. По словам Абрамова, этот кластер, которому в МГУ присвоили именное название «Чебышев», на момент создания был «весьма близок к технологическому “уровню N”».

Его пиковая производительность — 60 Тфлопс (на тесте Linpack он показывает 47,17 Тфлопс), с которой он занимает 54 строку в мировом листинге суперкомпьютеров Топ-500 (в версии от ноября 2008 г.) и 2 место в отечественном списке Топ-50 (обновленном в сентябре 2008 г.).

Работает «Чебышев» под управлением ОС ALT Linux 4.1, оптимизированной для кластерных систем. Гендиректор компании ALT Linux Алексей Смирнов рассказал CNews, что в ближайшее время этот дистрибутив должен появиться в открытом доступе, и, как добавил Сергей Абрамов, ALT Linux на момент поставки будет устанавливаться на все последующие машины программы «Скиф-Грид».

>>> Подробности

Совместно со своими партнерами, компания NVIDIA разработала Персональный Суперкомпьютер Tesla, оснащенный графическими процессорами на основе архитектуры Cuda. Как было заявлено, компьютеры, использующие Tesla C1060 GPU, работают в 250 раз быстрее среднестатистического десктопа, что позволит выполнять ресурсоемкие вычисления и моделирования без доступа к обычным суперкомпьютерам. Пиковая производительность системы оценивается в 4 TFLops.

Цена одной карты Tesla C1060 $1,699. Полноценный рабочий суперкомпьютер будет стоить порядка $10,000.

Основные характеристики архитектуры:

• 240 ядер в одном графическом процессоре,
• операции с целыми числами и числами с плавающей точкой одинарной и двойной точности (IEEE 754),
• производительность каждого графического процессора при работе с числами с плавающей точкой одинарной точности - 933 GFlops, двойной точности - 78 GFlops,
• пиковая пропускная способность памяти - 102 GB/s.

Средства для разработки, входящие в комплект поставки, включают в себя компилятор языка С, отладчик и профайлер. А также некоторые численные библиотеки (FFT, BLAS) и библиотеку CuDPP (CUDA Data Parallel Primitives).

Технические характеристики суперкомпьютера:

• 3 или 4 вычислительных процессора Tesla C1060 с 4 Гб (dedicated) ОЗУ для каждого процессора,
• 2.33 ГГц 4-ядерный AMD Phenom или Opteron, или же 4-ядерный Intel Core 2 или Xeon,
• БП 1200-1350 Watt, подключается к обычной розетке,
• уровень шума < 45dbA.

Среди поддерживаемых операционных систем заявлены дистрибутивы GNU/Linux Red Hat Enterprise Linux 4/5 и SUSE 10.1, 10.2, 10.3 (как 32-битные, так и 64-битные).

Более детельно ознакомиться с описанием системы можно на соответствующем сайте NVIDIA Tesla Personal Supercomputer.

Компании, которые будут продавать Tesla Personal Supercomputers: Dell, Lenovo, Asus, Western Scientific и некоторые другие.

>>> Подробности

Cегодня CRAY представили свою версию ОС, используемую для того самого суперкомпьютера. Это оказалась коммерческая реализация свободного кластерного дистрибутива Rocks Cluster Distribution 5.1, основанного в свою очередь на CentOS.

Rocks+ содержит в себе HPCC стек приложений для организации кластеров для ультравысокопроизводительных вычислений, включающий в себя саму операционную систему, ПО для управления и развертывания кластера, а также набор библиотек и компиляторов.

Представлены следующие сборки Rocks+: Intel Roll, PGI Roll, OFED Roll, TotalView Roll и Moab Roll (Rocks+MOAB), также возможно использование стандартных open source сборок, таких как Torque Roll и SGE (Sun Grid Engine) Roll.

Кроме того, 10 ведущих производителей оборудования и ПО объявили о кооперации своих усилий для форсирования разработки кластерных Linux решений следующего поколения. В состав объединения вошли: LSI, Cisco, Dell, DDN, Intel, Mellanox, QLogic, RedHat, Sun и Supermicro.

Совместный проект получил название Hyperion Project, он предусматривает создание технологии для выполнения высокопроизводительных вычислений, обеспечивающей выполнение квадриллионов операций с плавающей точкой в секунду (petaFLOP/s), более экономически целесообразной, чем текущие единичные решения, которые могут обеспечить производительность такого уровня.

>>> Пресс-релиз

Очередной этап модернизации суперкомпьютера Cray, установленного в Окриджской национальной лаборатории, позволил сделать эту систему самой быстрой в мире.

Суперкомпьютер, известный под названием Jaguar, сейчас имеет пиковую производительность 1,64 петафлопа. В ходе тестирования уже удалось получить показатель установившейся производительности, превышающий 1,3 петафлопа.

Текущую редакцию рейтинга суперкомпьютеров TOP500, как известно, возглавляет гибридный суперкомпьютер IBM Roadrunner, который способен выполнить 1,02 квадрильона операций с плавающей запятой в секунду (петафлоп).

Чтобы повысить производительность Jaguar, к 84 «шкафам» XT4 добавили еще 200 Cray XT5. Теперь в конфигурацию системы входит более 45000 четырехъядерных процессоров AMD Opteron, 362 ТБ оперативной памяти и дисковая подсистема объемом 10 ПБ. Пропускная способность каналов обмена с памятью равна 578 ТБ/с, а подсистема ввода-вывода — узкое место многих высокопроизводительных систем — способна перемещать каждую секунду 284 ГБ данных.

Вводу Jaguar в эксплуатацию будет предшествовать тщательное тестирование, которое продлится до конца года.

>>> Подробности

RedHat анонсировал выход Linux HPC платформы, призванной составить конкуренцию Windows HPC Server, аннонсированный корпорацией Микрософт. Цена: $249 за ноду (Windows HPC $475 за ноду). Все суперкомпьютеры c линуксом из Top500 настраивались индивидуальным образом, RedHat обещает развертывание кластера в течении часа. Система базируется на RedHat Enterprise Linux 5.2 с интегрированной платформой Open Cluster Stack 5. Платформа включает инсталлятор, драйвера устройств, инструменты управления, монитор ресурсов и приложений, поддержку интерконнекта и планировщик, называемый Platform Lava.

OCS базируется на проекте управления кластером Kusu, который поддерживает RedHat, SuSe и Ubuntu. Так же он включает системный монитор Nagios, монитор кластера Cacti и монитор нагрузки Ganglia.

Это не первая HPC платформа на рынке - в ноябре IBM выпустил HPC Open Software Stack, который работает на RHEL5.2 и SLES10 и является бесплатным, но с поддержкой только в вебфоруме.

Kusu: http://www.osgdc.org/
IBM HPC OSS News: http://news.zdnet.co.uk/hardware/0,10...

>>> ZDNet

Российский государственный университет (РГУ) имени Иммануила Канта в Калининграде получил суперкомпьютер, который способен выполнять до 5 терафлопс, сообщил РИАН директор института математического моделирования РГУ Леонид Зинин.

Самый мощный компьютер в мире имеет производительность 1,3 тысячи терафлопс, а самый мощный в России - 60 терафлопс.

"Этот суперкомпьютер, который правильнее называть "высокопроизводительный вычислительный кластер", мы получили в рамках нацпроекта "Образование" и сейчас ведем пуско-наладочные работы. Ожидаем, что скоро приедут инженеры "IBM", которые помогут с настройкой", - сказал Зинин.

>>> Подробности

Впервые в нём присутствует первый суперкомпьютер с производительностью в 1 петафлоп. Доля Linux за 10 лет увеличилась на 85%.

Top500 — список самых производительных компьютеров планеты. Первый список опубликовали в июне 1993. Linux к тому времени в суперкомпьютерах не использовали. Первый суперкомпьютер с Linux попал в список в июне 1998, что составляло 0.2%. Спустя 10 лет, 427 самых производительных суперкомпьютеров планеты используют к качестве ОС именно Linux. А это 85% в списке. Windows, которому удалось в ноябре прошлого года занять 7 мест в списке, в этом году уже потерял 2 места. Как показывает практика, Windows попадает в список только после того как Microsoft выпускает какую-либо новую версию своего продукта. Так и произошло в прошлом году после выпуска Windows HPC 2008. Однако постепенно эти системы уходят из списка, и их доля не более 1%. Доля Unix за 10 лет уменьшилась с 99.2% до 5%. Также особенностью это списка является появление первого суперкомпьютера с производительностью в 1 петафлоп, IBM RoadRunner, о котором уже писалось ранее.

>>> Подробности

На конференции Google I/O было представлено (http://news.cnet.com/8301-10784_3-995...) много интересных фактов о технической стороне работы дата-центров, обеспечивающих работу инфраструктуры Google.

Например:

• Всего у Google в настоящий момент 36 дата-центров, в каждом более 150 стоек, по 40 серверов в каждой. Итого, по самым скромным подсчетам около 200 тысяч серверов (в 2000 году было 4000 серверов).
• За первый год работы нового кластера, из 6 тыс. машин (150 стоек по 40 серверов) ломается около тысячи, фиксируется несколько тысяч отказов в работе жестких дисков.
• При сбое одного блока распределения питания разом останавливается от 500 до 1000 машин, введение в строй которых продолжается около 6 часов.
• После выключения 5% машин кластера, например из-за выхода из строя системы охлаждения, на восстановление уходит два дня.
• Каждый момент от 40 до 80 машин кластера недоступны в сети.
• В обслуживание одного типичного поискового запроса вовлекается от 700 до 1000 серверов.

>>> Подробности

Одному любителю сделать что-нибудь в 3D надоело ждать окончания рендеринга своих сцен и он на шести процессорах Intel Quad-Core 2.4 Ghz собрал в своей квартире render-farm в виде 24-ядерного кластера с 48 Gb памяти. Интересной фишкой системы, названной Red Helmer, является изготовление единого корпуса из мебели IKEA, Helmer cabinet, которая оказалась неплохо совместима по размерам c ATX. По ссылке красочно и с иллюстрациями описан процесс создания системы. В качестве ОС используется Fedora 8. Результатом автор доволен. Немаловажно, что ему удалось добиться низкого энергопотребления, около 800 Вт, а сцена, считавшаяся на MacPro 2 x DualCore Xeon 2.66 Ghz с 4 Gb 552 минуты, теперь обсчитывается за 64 минуты. Средняя производительность системы около 186 GFlops, но есть планы построения в 64 раза более производительной системы.

>>> Подробности

11 апреля 2008 Владимирским Государственным Университетом, компанией "Т-Платформы",
Программных Систем РАН и корпорация Intel было объявлено об открытии в университете
кластера семейства "СКИФ"

Основные характеристики:
Количество узлов : 64
Количество процессоров: 128 (Intel® Xeon® 5345)
Объем оперативной памяти: 512Gb
Сеть передачи данных: InfiniBand
Операционная система: SUSE Linux Enterprise Server 10 SP1

Пиковая производительность «СКИФ Мономах» составила 4,7 TFlops.

>>> Подробности