Выбор серверов для числодробилки

Что за кластер планируется? Мне несколько лет назад для «квантово-химических расчетов» вполне хватало одного athlonXP. Правда считалось долго...

PS: если кластер будет на gentoo (у этого дистрибутива штатно есть такая возможность), то я бы посоветовал 4х ядерники: AMD Phenom2 x4 965. И не забыть купить побольше оперативки, она будет узким звеном, при сеточных методах. А зачем такой дорогой свитч?

Еще можно внимательно посмотреть на задачу и, может быть для нее подойдет CUDA? Тогда одна карточка решит много проблем. И возни с настройкой будет на порядок меньше.

Не забудьте 2-3 «крутых» видеокарточки от nVidia, для ускорения расчетов.

Не забудьте 2-3 «крутых» видеокарточки от nVidia, для ускорения расчетов.

Может, тогда уж сразу пару таких взять? Бюджета на 8 TFLOP хватит.

Запросто, если они будут полноценно работать.

А какой это Infiniband умеет напрямую без свича?

Запросто, если они будут полноценно работать.

Если расчёты для CUDA хорошо подходят - это, наверное, лучший выбор. Если плохо, то «2-3 „крутых“ видеокарточки от nVidia» - пустая трата денег. По-моему так.

Если плохо

То лучше переписать :)

> Если расчёты для CUDA хорошо подходят - это, наверное, лучший выбор. Если плохо, то «2-3 „крутых“ видеокарточки от nVidia» - пустая трата денег. По-моему так.

Именно. Поэтому если предполагается «широкое использование» кластера, то лучше стандартное оборудование. Вариант с обычными десктопами, объединенными в кластер позволяют работать на них, как на обычных компьютерах, когда кластер не нужен.

То лучше переписать :)

Логично :) Но, думается мне, это не всегда возможно/оправдано.

Поэтому если предполагается «широкое использование» кластера, то лучше стандартное оборудование.

Ну мне не кажется, что квантово-химические рассчеты - это «широкое использование». А вот профит с дикой производительности теслы можно поиметь реальный.

> Ну мне не кажется, что квантово-химические рассчеты - это «широкое использование». А вот профит с дикой производительности теслы можно поиметь реальный.

Мой опыт говорит об обратном. Специализированное оборудование быстро устаревает. Пройдет 2-3 года и что с этим железом делать? А вот десктопы смогут верно прослужить 10 лет. Но если CUDA подойдет, то лучше, конечно брать теслу.

Зависит от софта. Интересно, чем это можно два спаренных гигабитных eth нагрузить квантовой химией до предела пропускной способности.

Нет, разумеется, лишние скорости не повредят, но обычно все упирается в нехватку оперативной памяти.

Да. Самое главное — продумай систему охлаждения. Это гораздо сложнее, чем кажется на первый взгляд.

Дикая производительность там только для слабосвязанных задач и для чисел одинарной точности. Если подразумевается частый обмен данными между нодами или использование double - туши свет

У теслы — двойная точность.

Реально, есть готовые решения на терафлоп и на 3 терафлопа. На прошлогоднем связьэкспокоме рядом с нами был стенд компании, они предлагали бигтауэры с 3-мя материнками в корпусе, на каждой материнке по 4-е 12-ти ядерников. Материнки соединялись infiniband по хитрой схеме, фирма поставляла к сервачку патченный MPI для него. К сожалению, не могу найти название, они были рядом со стендом 3Д Лиги, может кто вспомнит?

>>Ну мне не кажется, что квантово-химические рассчеты - это «широкое использование».

Ну и зря. Там зоопарк программ со своими требованиями к архитектуре. Никаких CUDA.

А вот профит с дикой производительности теслы можно поиметь реальный.

Молекулярная динамика с парным потенциалом для глянцевых буклетов? Двумерный Навье-Стокс в реалтайме поиграться? А кому оно надо-то?

Средняя такая матрица расчета MCSCF скушает всю память и не моргнет. Научатся лапакоподобные диагонализации на больших матрицах проврачивать на видеокарте - будет другой разговор.

ЕМНИП, она программно эмулируется ==> дикий слив производительности

> она программно эмулируется ==> дикий слив производительности

Даже у Tesla C2050 ?

В 2 раза меньше, если верить википедии - http://ru.wikipedia.org/wiki/NVIDIA_Tesla

Забавно. Спасибо, раньше не обращал на это внимание.

А зачем такой дорогой свитч?

затем, что гигабита для таких задач обычно не хватает

PS: если кластер будет на gentoo (у этого дистрибутива штатно есть такая возможность)

Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

• Не пытайся заниматься самосбором.
• Определись нужны или нет расчёты на GPU. Они сильно снижают круг решаемых задач.
• Обратись в Т-Платформы или IBM. Первые, точно, спокойно помогут с подбором характеристик (мне помогали). Связывался по телефону на их сайте. С IBM напрямую не общался, но тоже не думаю что сложно связаться.
• Проанализируй соотношение потребляемая электроэнергия/производительность. Всё таки жерут они не мало.

З.Ы.: IBM и Т-Платформы - основные поставщики кластеров в России, так что смело связывайся с ними. А там решай сам.

В т-платформах, я думаю, с таким бюджетом далеко пошлют))

Забыл

Копался в интернете, но так и не смог подобрать железо

Цены на такие системы чаще всего не публикуются, и это связано не с желанием скрыть их реальную стоимость, а с тем, что в каждом случае получается индивидуальная система.

В т-платформах, я думаю, с таким бюджетом далеко пошлют))

И ошибся, они предлагают и совсем маленькие решения http://www.t-platforms.ru/ru/clusters/smp.html, http://www.t-platforms.ru/ru/clusters/psupercomputer/t-edge-mini.html

> обмен данными между нодами

В архитектуре Fermi и стеке CUDA 4.0 поддерживается GPUDirect — обмен данными между GPU напрямую через Infiniband.

использование double - туши свет

double поддерживается аппаратно, просто double precision unit'ов в мультипроцессоре меньше, чем скалярных процессоров, поэтому пользоваться ими нужно с умом.

> Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Для создания кластеров используются в т.ч. и не специальные дистрибутивы. Некоторые кластеры, собранные на неспециальных дистрибутивах, входят даже в топ500: http://www.top500.org/stats/list/36/os

С бюджетом в 1.000.000 руб. не очень разгуляешься с брендовыми поставщиками. Тут есть два варианта:

1. Покупать самый простой брендовый кластер с прикидкой обучить команду работе на нем, и впоследствии купить хорошее брендовое решение. Но тут нужно, чтобы ответственное лицо было хорошо знакомо с тематикой, а этого не наблюдается.

2. Решить текущие задачи, а кластерные вычисления это не профильная деятельность. Это подразумевает временное решение, которое во многом будет уступать брендовому, но будет более дешевое и сохранится возможность использовать оборудование не как кластер. Для этого openMosix (gentoo), имхо, логичней всего.

PS: знаете кто обычно громче всех орет «только идиоты» ?

Для этого openMosix (gentoo), имхо, логичней всего.

какой нахуй мозикс и тем более с гентой? это вообще не про то

> ALT HPC

ALT

facepalm.tiff

а мужики то не знали

$ hostname
t60-2.parallel.ru
$ cat /etc/redhat-release 
ALT Linux 4.1 HPC (Milfoil)

GPUDirect — обмен данными между GPU напрямую через Infiniband

Насколько я понял, не напрямую, а GPU=>PCI-E=>ОЗУ=>Infiniband=>ОЗУ=>PCI-E=>Other GPU

Подозреваю, подобная схема сильно повысит латентность.

пользоваться ими нужно с умом.

Если для задачи это критично, лучше не пользоваться вовсе, ибо по производительности такое решение уступит CPU

> parallel.ru

éÎÆÏÒÍÁÃÉÏÎÎÏ-ÁÎÁÌÉÔÉÞÅÓËÉÊ ÃÅÎÔÒ ÐÏ ÐÁÒÁÌÌÅÌØÎÙÍ ×ÙÞÉÓÌÅÎÉÑÍ и т.д :3

поставь нормальный браузер

И чем тут гордиться? Засохшим г-ном мамонта 2009го года?

chromium 11, firefox 4 - картина абсолютно идентичная :3

...увы ie не держим

Это «говно мамонта» прекрасно выполняет свои задачи. Кстати, есть более новый «Ломоносов» на котором, кстати, тоже альт стоит, а не сраная гента.

Я немного знаком с типами расчетов, которые возникают в задачах физической химии где используются квантовомеханические модели. И с вероятностью 0.99 они будут относится к распределенным вычислениям, НЕ к параллельным. Поэтому очень быстрые свичи не нужны. Если делать кластер под распределенные вычисления своими руками, то я бы предпочел openMosix на gentoo, т.к. и документации много, и на специализированных форумах часто обсуждается, и оптимизация под железо будет, и многое другое.

PS: было бы конструктивней, если бы вы аргументировали свои ответы чем-то кроме мата.

> Это «говно мамонта» прекрасно выполняет свои задачи. Кстати, есть более новый «Ломоносов» на котором, кстати, тоже альт стоит, а не сраная гента.

То, что суперкомпьютер Ломоносов «прекрасно выполняет свои задачи» вызывает сомнения. Вызывает сомнения что он вообще работает:

http://www.cnews.ru/news/line/index.shtml?2011/03/01/430123

+ если вы посмотрите жж сотрудников МГУ, связанных с Ломоносовым, вы, наверно, удивитесь еще больше.

чушь какая

Браво

...хотелось бы видеть пруфы использования и пруфы от использования

//кун

> чушь какая

Конструктивно. Примеры задач, которые были решены на Ломоносове за последний год можете привести? Со ссылками на публикации в прессе, а не только на сайтах МГУ.

И с вероятностью 0.99 они будут относится к распределенным вычислениям, НЕ к параллельным. Поэтому очень быстрые свичи не нужны. Если делать кластер под распределенные вычисления своими руками, то я бы предпочел openMosix на gentoo, т.к. и документации много, и на специализированных форумах часто обсуждается, и оптимизация под железо будет, и многое другое.

Если уж распределённые для непрофи, то лучше Condor на Debian со всеми плюшками. А оптимизация под железо для распределённых не так уж и важна, важней количество узлов.

> Если уж распределённые для непрофи, то лучше Condor на Debian со всеми плюшками. А оптимизация под железо для распределённых не так уж и важна, важней количество узлов.

Тут вариантов на самом деле много. Можно вообще не париться и поставить на всех компьютерах института (на которых разрешено регламентом) что-то типа BOINC. Тут ориентироваться надо на то, с чем лучше знаком + перспектива обучения на вырост.

мозикс тебе процессы будет раскидывать и перекидывать как бог на душу положит, это вообще не для вычислений технология, а для отказоусточивости и распределения нагрузки

>>Реально, есть готовые решения на терафлоп и на 3 терафлопа. На прошлогоднем связьэкспокоме рядом с нами был стенд компании, они предлагали бигтауэры с 3-мя материнками в корпусе, на каждой материнке по 4-е 12-ти ядерников. Материнки соединялись infiniband по хитрой схеме, фирма поставляла к сервачку патченный MPI для него. К сожалению, не могу найти название, они были рядом со стендом 3Д Лиги, может кто вспомнит?

Вот это интересно.

Cuda нельзя. Софта нет. Athlon XP не канает для зонных расчетов из сотни атомов, к сожалению, годы ждать никто не будет! В Европе это делается на компах типа BlueGene.

Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Мне кажется, это не очень важно, потому что всё равно собирать все библиотеки и софт самому, что бы выжать максимум. А уж загрузку по сети можно сделать на любом дистре. Как-то я не доверяю отечественной разработке, даже с учетом Ломоносова.

А какой это Infiniband умеет напрямую без свича?

Вот, кстати, я про это не подумал. Про Infiniband вообще не удалось много информации найти.

Но тут нужно, чтобы ответственное лицо было хорошо знакомо с тематикой, а этого не наблюдается.

Ответственное лицо и правда пока не особо разбирается в серверном железе, но, оно знакомо с расчётами и линуксом. Тема железа активно осваивается.

И с вероятностью 0.99 они будут относится к распределенным вычислениям, НЕ к параллельным.

Но таки разработчики софта рекомендуют Infiniband (это справедливо для нескольких программ, не для одной). Хотя это и правда скорее распределённые вычисления.

>>Только идиот будет собирать кластер на генту. Для кластеров есть ALT HPC edition и другие специализированные дистрибутивы.

Мне кажется, это не очень важно, потому что всё равно собирать все библиотеки и софт самому, что бы выжать максимум. А уж загрузку по сети можно сделать на любом дистре. Как-то я не доверяю отечественной разработке, даже с учетом Ломоносова.

Замучишься выжимать максимум, упираться будешь не производительность процессоров. И нашем производителям зря не доверяешь. Как говорил выше, лучше позвони тем же Т-платформсам и проконсультируйся.

З.Ы.: еще одно скажу, тех кто будет сам писать проги для кластера, вообще лучше не допускать к их администрированию. Им начинают мешать всякого рода «условности» безопасности и открывают всё что не лень.

Я больше доверяю сайтам мгу чем какому-то необоснованному желтому бреду, на который ты дал ссылку. Задачи можно поискать в журнале «Вычислительные методы и программирование». Я на Ломоносове ничего не считал, хотя в начале года мне предлагали логин. Я отказался, так как Чебышева с головой хватает.

А уж загрузку по сети можно сделать на любом дистре. Как-то я не доверяю отечественной разработке, даже с учетом Ломоносова.

а ядро? а планировщик заданий?