Новая технология межпроцессорной связи, разработанная IBM

>не то, похоже. это bandwidth к памяти в узле, насколько я въехал

Ну дык а HT это тоже доступ к памяти в основном (NUMA).

AFAIK половина первой десятки из top500 имеют свою версию интерконнекта (не штатную)

HUUUUUUUUUUUUUURRRRRRRRRRRRRRDDDDDDDDDD!!!!!!!!!!!!!!!!!!!!!!!

>Вот кое какие цифры по скоростям и латентностям для разных современных интерконнектов:

ну то есть новый интерконнект их теоретически бьет, и если поставить эти модуляторы на 256битную шину получим 10GB/s x 256 = 2,5TB/s

что утопия, конечно, но приятно :)

>но какая там сейчас скорость на последовательный канал?

На одну линию ? 2.5Gbit/sec

>когда-то один ком весил 2 тонны

ЭНИАК весил 27 тонн, вообще-то :)

>ну то есть новый интерконнект их теоретически бьет

Дык пока сделают рабочую железяку старые в продакшене ускорятся еще раз в 10.

>не то, похоже. это bandwidth к памяти в узле, насколько я въехал

Там межнодовый интерконнект (если именно он интересует) по 128 Gb/sec в каждую сторону, но мы вроде бы сначала с HT сравнивали ...

>ЭНИАК весил 27 тонн, вообще-то :)

Мечта сборщиков цветмета ;)

> Дык пока сделают рабочую железяку старые в продакшене ускорятся еще раз в 10.

навряд ли в современых интерконнектах тоже fiber optic так что ускоряться вместе будут

на самом деле мы все равно глупостями занимаемся, не понятно как они использовать это будут, может просто корпусировать ноды и вести передачу сырого сигнала без оптоволокна, тогда это вообще другая песня и другие оценки, и не интерконнект это вовсе

А я представляю себе вообще суперкомпьютер на одной гигантской печатной плате, подвешенный под потолком офиса или в межэтажном перекрытии. Ибо зачем мучаться с интерконнектом вообще, если будут сняты факторы, сдерживающие производительность одного нода?

> Ибо зачем мучаться с интерконнектом вообще, если будут сняты факторы, сдерживающие производительность одного нода?

Главная проблема -- как обеспечить коннект КАЖДОГО ядра к КАЖДОЙ ячейке памяти (если мы про СМП), да еще так, чтобы они все друг другу не мешали. И никакие сколь угодно быстрые и маленькие соединения тут сильно не помогут.

Другая сложная проблема -- как обеспечить взаимодействие каждого ядра с перефирией.

И еще проблема -- масштабируемость операционки.

> И еще проблема -- масштабируемость операционки.

Операционки чего?

> Таким образом, вполне вероятно, что традиционные кластеры очень скоро отправятся в утиль.

извини, чувачок, но ты нереально заврался или просто не понимаешь зачем народ лепит кластера, иди-ка сам в утиль :D

>> Линки гипертранспорта на печатной плате размещаются значительно менее >плотно, чем можно расположить оптические линии.

>Во-первых, откуда это известно? В пресс-релизе написано только, что >модулятор сделали!

>Во-вторых, я ж предлоложил, что мы расположили линки с бесконечной >плотностью, сведя размеры вообще к нулю!

Хе-хе... Сразу видно что у тебя не было опыта создания быстродействующих шин на печатной плате. Вся гадость электрических линий передач на печатной плате это то, что они создают неслабые помехи и влияют друг на друга и на все остальное. Кроме того чем выше частота, тем больше проблем с передачей сигнала по этим линиям (возрастает затухание). Все эти факторы существенно зависят и от размера линий в том числе. Понятно, что эти проблемы решаемы, но только до определенного предела и современная цифровая электроника все ближе подходит к этому пределу. В этом смысле оптические линии связи идеальны, они никак не влияют друг на друга и не создают электрических помех.

> Таким образом, вполне вероятно, что традиционные кластеры очень скоро отправятся в утиль.

Аффтар укурок? :) Каким оброзом технолоигя межядерных связей принципиально изменит кластерную архитектуру? :)

"Нанотехнологии - это ...!" (с)

Простите, а какое конкретно отношение данная новость имеет к Linux?

>Мечта сборщиков цветмета ;)

У меня товарищ сдал, кажется, БЭСМ-6. Точнее - отмывал и осаждал золото, потом сплавил и сдал. Получилось около $1400 в ценах 1994 (или 1993?)-го года (на $1400 тогда можно было в Москве год снимать хорошую квартиру, ещё бы и на еду немного осталось). Сразу купил себе наворочанную 486-ю :)

>мы ж все умрем, фигле ! :)

Не надо за всех. Лана?
:)

>Простите, а какое конкретно отношение данная новость имеет к Linux?

Мост под линуксом работает.

так держать, бимеры! засветите всех неподецки!

Интегральный модулятор однако боянчег. Infinera уже год, если не больше, производит микросхемы ЭО модуляторов и демодуляторов, 100Гбит/с на линк, используется в самых высокоскоростных линках инета, Infinera DTM называется. Хорошо конечно, что интегрировали в проц, но сверхъестественного ничего.

всёже намного приятней читать новости о научно-техническом прогрессе, чем о процессе гниения быдлоподелок от одной альфа версии к другой

> Интегральный модулятор однако боянчег. Infinera уже год, если не больше, производит ...

Если в пресс-релизе откинуть огалтелый пиар, то информация сведется к тому, что бимерам удалось сделать модулятор, размером на пару порядков меньше существующих.

> Вся гадость электрических линий передач на печатной плате это то, что они создают неслабые помехи и влияют друг на друга и на все остальное ...

Попробую еще раз...

В ТРЕТИЙ РАЗ повторяю:

Предположим, что ВСЕ отрицательные эффекты МЕЖПРОЦЕССОРНЫХ соединений сведены к нулю.

В ЦЕЛОМ ситуация тогда улучшится на несколько процентов (ок, на десять процентов): сам процессор-то по-прежнему -- кремниевый с медными проводниками!

> Операционки чего?

Чего -- "чего"?

В современном суперкомпьютере (особенно производства IBM) много операционок. Масштабирование которой из них тебя больше всего не устраивает?

> В современном суперкомпьютере (особенно производства IBM) много операционок.

Любой!

Я говорил про трудности, возникающие при попытке построить один, но ОЧЕНЬ большой СМП нод. Подразумевается, очевидно, что этот нод работает под единым образом операционки.

Мне известно максимум 1024 ядер (то был SGI Altix 4700 под Сюзей), и то, оно -- отнюдь не СМП, кирпичики там проводочками соединяются.

> Я говорил про трудности, возникающие при попытке построить один, но ОЧЕНЬ большой СМП нод.

Альтернативный подход как раз и продвигает IBM - производство очень большого количества относительно простых узлов (nodes). Каждый из узлов работает под управлением своей OS. Пример - архитектура Blue Gene.

> Альтернативный подход как раз и продвигает IBM...

Да, все именно так; не только бимеры, почти все так делают.

Я просто пояснял, почему НЕЛЬЗЯ сделать "один ОЧЕНЬ большой узел".

Меньше то меньше, но и скорость меньше. Инфинеровские это по сути, 10 параллельных 10Гбит модуляторов. Может конечно еще уменьшили, не знаю.

Процессор то конечно внутри медный, но! Разводка ВЧ схем, особенно столь сложных, как многопроцессорная матплата - это адское дело. Свет же помех не дает. Правда, честно говоря, мне кажется, плата в таком случае превращается в этакую патч-панель..

>Альтернативный подход как раз и продвигает IBM - производство очень большого количества относительно простых узлов (nodes). Каждый из узлов работает под управлением своей OS. Пример - архитектура Blue Gene.

Там как раз довольно сложная иерархия узлов, есть счётные под CNK, есть I/O-ноды под зюзей, в результате это выливается в очень дорогую цену масштабирования, если мне не изменяет память - один воркерер на счётный узел причём счётные узлы не так уж и быстры (PPC 700-850-MHz)

В современных беовульфах (где тоже каждый узел работает под управлением своей ОС а интеграция осуществляется за счёт общей системы управления очередями задач и общей ФС) этот показатель _в_среднем_ 4-8 на ноду а частоты в районе 3GHz

Уточнение. IO-nodes не работают под Suse.

Что такое воркерер? Если речь о количестве IO-узлов на compute node, то их один на от 32 до 128 выч. узлов. OS опять везде своя.

Насчёт не так уж быстры: для P 850MHz * 4 cores * 4 flop = 13.6 GFlops, что inline с другими производителями. А потребление поменьше.

>В этом смысле оптические линии связи идеальны

+1, плюс можно грабить корованы ^W^W сделать схему трёхмерной

> Процессор то конечно внутри медный, но! Разводка ВЧ схем, особенно столь сложных, как многопроцессорная матплата - это адское дело. Свет же помех не дает. Правда, честно говоря, мне кажется, плата в таком случае превращается в этакую патч-панель..

Как я понимаю, под "светом" в данном контексте понимается "нановлолкно".

Давай не будем сейчас обсуждать нанотехнологии! Пока кроме шуму от них ничего нету.

Те же бимеры с полгода назад с похожей помпой изобрели механическую память на "наномолоточках" -- и где оно теперь?

Поймите, "нанотехнологии" подразумевают именно "ТЕХНОЛОГИИ"! Пока что это не технологии, а уникальные изделия. Бимеры лет 10 назад нарисовали логотип "ИБМ" на молекуле -- это что, технологии?

Левша блоху подковал аж 200 лет назад -- что, "нанотехнологии"?

>IO-nodes не работают под Suse.

В той pdf-ке где я читал про архитектуру BG указано что они под SLES9 И на top500 аналогичная информация http://top500.org/system/8968

>Что такое воркерер?

Единичный поток/процесс исполнения. Он один на счётную ноду если я правильно понял архитектуру

>Насчёт не так уж быстры: для P 850MHz * 4 cores * 4 flop = 13.6 GFlops,

Только вы забыли помножить на коэффициент масштабирования который для BG позорно низок (даже для HPL) а для плохо масштабирующихся задач он будет ещ позорнее.

>Левша блоху подковал аж 200 лет назад -- что, "нанотехнологии"?

Отож ;) Не зря ж гарант про "заделы" говорил ;)

ЗЫ: Так что первым идеологогом "нанотехнологий" был Лесков ;)

> В той pdf-ке где я читал про архитектуру BG указано что они под SLES9 И на top500 аналогичная информация http://top500.org/system/8968

Про pdf-ку не знаю, но на top500 я не нашёл указаний, что IO-nodes работают под SLES9. Просто указано CNK/SLES9.

В L и P системах под SLES работают только login-nodes, которые к суперкомпьютеру вообще говоря отношения не имеют. На вычислительных узлах - так называемая CNK (k от слова kernel), на IO-nodes работает другая OS.

> Единичный поток/процесс исполнения. Он один на счётную ноду если я правильно понял архитектуру

Нет. L поддерживет два режима исполнения: сопроцессорный с одним потоком на узел, и виртуальный - с двумя. P поддерживает три режима, с одним, двумя, и четырьмя потоками на узел. При использовании разных режимов по разному проводится обращение у памяти.

> помножить на коэффициент масштабирования

поясните, что такое коэффициент масштабирования.

> Отож ;) Не зря ж гарант про "заделы" говорил ;)

:(

К сожалению, пипл не внюхивает, что за корнем (нано)ТЕХНОЛОГИИ изначально (по Фейнману, который все это придумал) стоИт совершенно ТЕОРЕТИЧЕСКИ обоснованное понимание того, как это надо делать. И пока этим даже НЕ ПАХНЕТ (особенно в России)!

> поясните, что такое коэффициент масштабирования.

Отношение максимальной (померянной) к пиковой производительности как функция от числа воркеров

Для HPL (практически идеальная задача) Rmax/Rpeak как частный пример.

А есть _задачи_ в которых это коэффициент:

1) весьма низок (по фундаментальным причинам)

2) быстро падает с ростом числа воркеров (по фундаментальным причинам)

То есть 100 ядер по 3000 MHz это далеко не эквивалент 500 ядер по 600 MHz

>К сожалению, пипл не внюхивает, что за корнем (нано)ТЕХНОЛОГИИ изначально (по Фейнману, который все это придумал) стоИт совершенно ТЕОРЕТИЧЕСКИ обоснованное понимание того, как это надо делать. И пока этим даже НЕ ПАХНЕТ (особенно в России)!

Да это не только в России а вообще.

Как то летел в Германию в командировку с одним физиком-твердотельщиком. У него как раз контракт был с какой то лабой на тему выращивания углеродных нанотруб. _ВСЯ_ его работа это галимый эксперимент и _НИКАКОЙ_ фактически теории. Чем оно отличается от алхимии кроме более совершенного оборудования мне ни разу не понятно.

> Отношение максимальной (померянной) к пиковой производительности как функция от числа воркеров

> То есть 100 ядер по 3000 MHz это далеко не эквивалент 500 ядер по 600 MHz

Всё понятно.

Можно бесконечно долго спорить, что лучше -- 100 cores по 3GHz с очень хорошим коэффициентом масштабирования для одной и плохим для другой задачи, или 500 cores по 600 MHz с теми же проблемами. Вы же понимаете, что BG, а мы вроде-как про него сейчас говорим, да и топик про IBM, не создавался как универсальное решение для всех задач. Это система для конкретных проектов, на которых масштабирование определено и гарантированно будет удовлетворительным. Да и вообще то или иное решение диктуется требованиями рынка. Сейчас BG - одно решение в своей нише, Cray XT4 - альтернативное в другой и для других задач.

>Сейчас BG - одно решение в своей нише, Cray XT4 - альтернативное в другой и для других задач.

Ну тут само собой консенсус ;)

PS: Мои задачи как раз из "других" ;)

> Мои задачи как раз из "других" ;)

Ну тогда вперёд с SGI в Oak Ridge. А у меня и из одних и из других ;)

>Ну тогда вперёд с SGI в Oak Ridge.

Ну не настолько чтобы был альтикс нужОн ;)

У меня как раз как в крее ХТ4 потроха только масштабы сильно поскромнее ;)

Я вот тут подумал в пятницу в конец рабочего дня, интересно получается, что DOE кормит и тех и других. Ничего не напоминает?

Ну это так, лирика...