linux cluster

Если чисто на посчитать - корки2, если БД - амд, если 64бита - амд.

Связь надо делать наиболее быструю из возможных. Т.е. помимо Ethernet, надо узлы обязательно связать той же myricom. На Ethernet про MPI можно забыть, всё равно, что независимые компы...

Вроде говорят, что Intel Woodcrest весьма неплохие процы. А вообще, даже двуядерные процессоры отстают от двух одноядерных, так что лучше ставить двухпроцессорные узлы на одноядерных Оптеронах с максимальным кэшем. Памяти мало не бывает, так что не жалеть и уж точно не меньше 4Гб. Ну, и память самую быструю, конечно...

Главное не забудь стоику для них купить и UPS по-мощнее в эту стойку.

Если чётко решил связаться с PC - смотри в сторону http://www.supermicro.com/products/superblade/

Или затащи в эту тему Die-Hard'а. Он и рядом с тобой находится, и ИМХО с подобного вида решениями знаком лучше, чем я.

> Или затащи в эту тему Die-Hard'а.

Мне сейчас сильно некогда.

Навскидку -

1. Только не Myrinet! Я бы посоветовал InfiniBand

2. Двухкорковые процы скоро кончаться. Я бы присмотрелся к двухголовым двухкорочным Оптеронам серии из 4 циферок -- они потом дадут возможность апгрэйда на 4-х головые.

3. Ксеоны сейчас, вроде, тоже ничего, кстати!

спасибо! Сейчас приценимся.
Я еще не смог найти прайсы ни у одной фирмы а ля ibm, siemens etc.
где бы предлагали готовые решения и описания с ценой.

Из Германии? Могу сразу сказать самых дешевых.

Готовый кластер купить ГОРАЗДО легсе, чем самому собирать.

Прайсы есть только у Сана, у остальных надо офферы спрашивать.

> 2. Двухкорковые процы скоро кончаться. Я бы присмотрелся к двухголовым двухкорочным Оптеронам серии из 4 циферок -- они потом дадут возможность апгрэйда на 4-х головые.

Имелось в виду -- для апгрейда dual core до quad core нужна серия 8200

Я вечером появлюсь

из Дании, Ютландия :) да если подскажешь прайсы или где посмотреть - очень меня обяжешь! Заранее спасибо.

> из Дании,

Тогда вряд ли... Этот рынок здОрово от страны зависит.

В Германии мы постоянно пользуемся небольшими немецкими фирмами, у них существенно дешевле получается; вполне надежно, ни разу не было проблем с поддержкой, http://www.sysgen.de и http://www.transtec.de

Сравнимые условия (в данный момент) предлагают Dell и SGI

Остальные -- дороже.

>...если подскажешь прайсы или где посмотреть

Нету их в природе!

Звонишь (или пишешь) фирмачам, и они присылают тебе оффер, и ты начинаешь торговаться ("А у конкурентов дешевле!"). В процессе цена падает в 2-3 раза.

Мы последний раз затребовали инфу от Transtec, SysGen, Dell, DeltaComputer, Sun и SGI, и сейчас торгуемся -- правда, мы покупаем довольно большой кластер. У нас есть 250 KEUR, и они все знают, сколько у нас денег, поэтому торговля идет за оборудование.

о! спасибо - нашел хоть примерные цены.
отлично!

Ну вот, домой пришел -- могу дать еще комментариев.

Мог бы вкраце объяснить, для чего кластер. Уверяю, в зависимости от типичных приложений, варианты будут различаться в разы. Не будучи телепатом, замечу лишь:

1. Из быстрых сеток сейчас просто не имеет смысла выбирать (для таких масштабов) что - либо, кроме 4-х DDR InfiniBand. Наверное, лучше всего покупать Mellanox, оно с Линуксом хорошо дружит.

Надо отдавать себе отчет, что оно (IB) сравнимо с Гигабитным Ethernet, если речь не идет о latency. Если нужна только небольшая файлопомойка, то большой разницы не будет. Впрочем, и в цене большой разницы не будет. Но пока технология InfiniBand значительно менее надежна, чем Ethernet -- по крайней мере, требует (в среднем) значительно бОльшей возни.

Myricom -- лично я не хочу даже слышать про ЭТО! Оно просто не работает -- хотя, может, просто мне (и моим знакомым) тотально не повезло несколько раз?

2. Бездисковое решение в наше время выглядит довольно странно. Оно предполагает лишний сильнонагруженный сервер -- не надо путать "тонких" клиентов и кластер! -- что снижает надежность всей системы в разы. Диск стОит сотню, одна нода -- несколько тысяч, то есть, ты экономишь проценты в цене на ноду, но сервер тоже денег стОит! В результате, ты теряешь и в цене (проценты), и в надежности (сотни процентов).

3. Прайсы: как правило, чем меньше фирма, тем более правдивую информацию о ценах можно найти на ее официальных страницах. Для больших фирм эти цены ничего не значат, они рассчитаны на лохов. Если зайти на сайт Сана, ты увидишь цены, по которым они впаривают свою сантехнику тем единицам, которые не считают деньги. То же с HP.

Процедуру я уже описАл вкраце: спрашиваешь предложения у 4-5 независимых вендоров, и начинаешь потихоньку сбивать цены по кругу. Нам несколько лет назад удалось сбить эффективную цену в 3 раза. Лично мне из "известных" брэндов больше всего нравятся SGI (замечу, они сейчас вообще не предлагают Оптероны -- только Ксеоны) -- но они, типа, банкроты... Тем не менее, мы сейчас ведем с ними переговоры (хотя меня тоже пока Ксеоны настораживают).

Мелкие фирмы торгуются неохотно, но цены предлагают сразу разумные.

4. Не надо бояться Ксеонов -- они, вроде, стали ничего, не то, что несколько лет назад. Но, не зная специфики предполагаемых прикладух, сказать трудно...

> ...нашел хоть примерные цены.

;)

Примерно и так понятно -- 3 - 4 килоевры за ноду.

кластер для расчета спиновой динамики - то есть в основном матричные умножение и диагонализация на матрицах размера 2^15-2^20 если получится.

бездисковое - потому что когда я пролистнул инфу о кластерах это везде пишут - что мол удобно, и действительно кажется удобным загружать один образ на все машины - ну нагрузка на сервер есть но для небольшого кластера вроде бы несущественная.

да я посмотрел - тоже склоняюсь теперь к готовому решению
видимо можн взять 4 квадро оптерона.

> кластер для расчета спиновой динамики - то есть в основном матричные умножение и диагонализация на матрицах размера 2^15-2^20 если получится.

Floating Point, или целые?

Самого главного не сказал: вычисления локальные или распределенные? Планируется ли MPI?

> бездисковое - потому что когда я пролистнул инфу о кластерах это везде пишут - что мол удобно, и действительно кажется удобным загружать один образ на все машины - ну нагрузка на сервер есть но для небольшого кластера вроде бы несущественная.

Ну, никто не мешает грузить операционку по сети, но иметь локальные диски для скрэтчей.

Нагрузка на сервер для бездискового кластера будет огромной! И не забудь -- все временные файлы, все скрэтчи будут грузить твой сетевой траффик. Если планируется MPI, то однозначно придется прокидывать две сетки -- стоимость такого решения будет существенно выше, нежели локальные диски с огромной избыточностью.

Кроме того, что-то я сомневаюсь, что настройка и пилотирование бездиского вычислительного кластера -- комфортный процесс... Я часто слышал аргументы подобного рода, но как-то ИМХО они просто механически переносятся с кластеров "тонких клиентов".

> ...тоже склоняюсь теперь к готовому решению

А оно и дешевле встанет, кстати!

> видимо можн взять 4 квадро оптерона.

То есть, 4 ноды с 4 корками?

Тогда и быстрая сетка не нужна, в принципе (если не бездисковый кластер, конечно).

А четырехъядерных Оптеронов пока нет -- то есть, они есть, но никто их не видел. И первые квадро Оптероны будут довольно тормозными.

флоат!

вот сейчас сидим бодаемся с шефом - он грит зачем нам кластер - это дорого и ваще - тема это грид, типа у нас по ночам вон сколько компутеров простаивает а еще прикупим 10 и можно будет обсчитаться.

Ввиду того что матрицы в спиновых задачах растут как 2^nx2^n при добавлении одного спина и блочная структура там не всегда однюдь, я даже не знаю что тут лучше.

поэтому что тут кто выберет MPI или PVM и как будем считать я пока не знаю.

ну можно взять тогда 8 нодов с 2 корками.

Пока готовлю инфу для шефа и замов - посмотрим что они одобрят.

> флоат!

Тогда советую присмотреться к Core 2 Xeons.

> ...тема это грид, типа у нас по ночам вон сколько компутеров простаивает а еще прикупим 10 и можно будет обсчитаться.

Ну, если есть кому это дело программировать, то да: задача хорошо параллелизуется и бьется ма части. Но это -- жуткий гемморой!

Вообще, возиться с матрицми миллион на миллион...

Мне кажется, не нужно вам быстрой сетки. Памяти побольше (4 Гига на корку), куски считаются на шустрых Ксеонах и сливаются с помощью MPI через гигабитный Ethernet -- оно достаточно шустро поток льет. Диски -- локальные SATA несколько штук, страйпнутых софтрэйдом, файлсервер не нужен, вернее, совместить его с центральным сервером.

программиорвать может и есть кому - но этим некогда заниматься, надо статьи писать - а это занимает кучу времени с малым выходом обычно.

ну крому матриц есть оптимальное управление в квантовых системах - там немного по другому все. Вообще хочется получить просто хороший комплекс для расчетов в ЯМР.

Можно, например, поставить для начала гигабитный Ethernet, а если покажется медленно, то потом докупить быструю сеть с конкретными параметрами...

У нас на кластере вот такая штука стоит в каждом узле: http://www.dolphinics.com/products/hardware/pci64.html

> У нас на кластере вот такая штука стоит в каждом узле...

Кстати, как она?

По моим оценкам, она не должна сильно отличаться от Гигабитного Ethernet'а.

Честно говоря, я точно не знаю, ибо MPI у нас одна девушка пишет... :-) Знаю только, что в сравнении с одним современным кластером на Ethernet наш просто летал. Насколько я понимаю, у этой штуки задержки очень маленькие, что и позволяет "взлететь". У нас даже получалось что MPI эффективней SMP работал.

>вот сейчас сидим бодаемся с шефом - он грит зачем нам кластер - это дорого и ваще - тема это грид, типа у нас по ночам вон сколько компутеров простаивает а еще прикупим 10 и можно будет обсчитаться.

а QNX разве уже умер?

для кого этого написал? если для читающих - пиши так чтобы было ясно что ты хотел сказать.

P.S. Про высокоскоростную сеть. У нас установлен ScaliMPI, он использует эту сеть напрямую без всяких прослоек. Вероятно, именно по этому оно быстро работает.

> ...в сравнении с одним современным кластером на Ethernet наш просто летал.

Можно по-разному писАть на MPI.

Ethernet славен свойе тормознутостью по части задержек, но поток льет хорошо. Если аппликуха много барьерит, кидает много мелких пакетов, то Ethernet сильно тормозит, а если, наоборот, пересылается несколько толстых пекетов, то довольно достойно получается.

Если кластер -- на старых Ксеонах, то да, я сам наблюдал, что MPI по быстрой сетке (InfiniBand) жужжал быстрее, чем SMP. Но это -- проблема северного моста. На Оптеронах такого не наблюдалось.

Еще я видел нечто подобное на большом кластере на Итаниках, связанном КвадриксНЕТ: аппликуха на 16-процовом ноде ощутимо тормозила по сравнению с распределенной.

Это понятно, что по-разному писать. В нашем случае суть самой задачи требует большого количества обменов.

А SMP был медленнее, потому что в MPI обмены были сильно оптимизированы, а в SMP -- нет (типа в SMP не обязательно). Запуск потоков тоже был не фонтан...

У нас, кстати, 4 узла по 2 Оптерона на каждом. Несколько лет назад он входил в Российский Топ50.

Только сейчас заметил --

Что, кластер на 8 Оптеронах несколько лет назад входил в Рус Топ50 :-/?