Вдогон

Ссылочка ни Франклина
http://www.hpcf.cam.ac.uk/tech.html

Мужик тот правда из другого коллеЖа не компутерщик а CFD-шник
может тонких финансовых информаций не знать :((

Я знаю, какого рода задачи медики считают (e.g., в LBNL) - всякие там свёртки полимеров, и прочие подобные приколы. Чистейшая квантовая химия...

Вроде МГУ-шники имели довольно высокий рейтинг в проекте перебора RC4 (или RC5) Эта задача нормально параллелится ;)))

автор немного ошибся, one and half переводится как полтора а не половина

>В смысле, какая система кластеризации будет использована? MPI, MPICH или что-то другое?

опять РУТ х**ню сморозил в который раз уже!
иди хоть почитай про то, что ты сам же написал,
сам тебя мордой в твою ошибку тыкать так и быть не буду !

>ОНИ программировать умеют, в отличии от наших, утомлённых фортраном или сями поплюснутыми...

кстати на чём они пишут для такой "машины" если не на сях и не фортране?

Что-то я не пойму наезда...
1. Beowulf - система кластеризации, разработанная NASA (её ещё собирались применять на МКС). Довольно-таки недавно проект отделился от NASA и живет теперь здесь: http://www.beowulf.org/ . Как видно на сайте, данная "идеология" имеет как коммерческие, так и некоммерческие решения. Но, тем не менее, все системы кластеризации на основе Beowulf являются именно Beowulf-решениями.
2. MPI - как и Beowulf является "идеологией" и (опять же) имеет довольно-таки немало как коммерческих, так и некоммерческих реализаций.
3. MPICH из вышеприведенных двух систем является наиболее продвинутой в том смысле, что может использовать преимущества обеих систем (да ещё и системы кластеризации "Globus"). Поищите в Инете файл mpich.tar.gz (он валяется на многих зеркалах, так что URL приводить не буду) и в нем лежит файл readme - с самого начала ясно написано в случае каких систем кластеризации какие mpich-девайсы использовать.

Так что, на мой взгляд, я был абсолютно прав, когда спросил какую именно систему кластеризации там решено использовать.

Кстати, насчет "идеологий": вообще говоря, системы кластеризации описывают ИНТЕРФЕЙСЫ и СПОСОБЫ ВЗАИМОДЕЙСТВИЯ узлов в кластере. А потому способ конкретной реализации особого значения не имеет. Грубое, но всё же сравнение: у вас ведь не возникает особых вопросов к способу реализации POSIX в различных *NIX-системах??? Так и тут та же самая картинка - только касается не POSIX, а систем кластеризации.

>Грубое, но всё же сравнение: у вас ведь не возникает >особых вопросов к способу реализации POSIX в различных >*NIX-системах???

ну а почему ты тогда сравниваешь MPI (протокол) с его реализацией MPICH ? и почему ты тогда не упомянул про другие реализации MPI? LAM например ?

> Сколько у вас зав. отделом, проф., дфмн получает ?

Много получает, бо контрактных работ навалом.

РУТ опять лоханулся по полной...

2anonymous (*) (2003-09-17 23:48:20.409885): Да потому, что это РАЗНЫЕ продукты. Я же ясно написал (хотя вру: не я, а создатели MPICH): MPI является частным случаем в сравнении с MPICH (поскольку MPICH умеет MPI, Beowulf и Globus). Или, если хочешь, MPICH - это своеобразная надстройка над этими тремя системами. Да, изначально MPICH делался как реализация MPI (и таковым является, ессно, до сих пор), но поддержка Beowulf и Globus делает MPICH совершенно другим продуктом... И наделяет его намного большими возможностями. Да ты (хотя бы) просто прочитай приведенный мной readme - "ты всё поймешь и всё увидишь сам".

2anonymous (*) (2003-09-18 00:06:10.159891): Да нет. Лоханулись, как раз-таки, 13-летние сосунки-Онанисты с LOR'а. И ты являешься ярчайшим представителем касты оных.

Ути-пути, какие мы граматныя... Рутишко опять воняет, блин. Как ни вернусь сюда - всё одно и то же...

1. Не существует софтины или комплекса софтин с именем "beowulf". Существует именно ИДЕОЛОГИЯ (ну и проект с тем же именем, один единственный кластер из помоечных железок). 2. MPI - это блин API, придурок. 3. И чем же это MPICH такой добрый, что, к примеру, LAM так сильно хуже? Придурок, ты бы хоть раз хоть что нибудь больше чем на два узла посчитал на любой из message-passing систем, прежде чем корчить из себя кр00того знатока. 4. Ни хера ты был не прав. Никто никоим образом не мешает юзать на одном и том же кластере одновременно и тупую батчёвую систему, и что либо вроде Mosix, и PVM3, и MPI всякоразные. Что обычно и делается - никто не станет ограничивать систему какой либо одной идеологией.

Обычно - Фортран + какой либо самописный препроцессор. Главное, что выбор этот осознанный, в отличии от наших, кого в ВУЗе фортрану "учили".

ЗЫ: в спецификации MPI ВООБЩЕ никаких требований к транспортному уровню не даётся. Так что по барабану, какие конкретно протоколы юзает конкретная реализация, оно вообще на шаренной памяти работать может, или на шине SCSI. Так что нигани.

А как же хвалёный GRID? По-моему здесь: http://eu-datagrid.web.cern.ch/eu-datagrid/

Организуйте ноду и присоединяйтесь. Только у меня сильные подозрения, что объём вычислений прямо пропорционален степени непонимания предмета вычисления. Гораздо проще сляпать абы как нежели подумать.

Итак. Доброго времени суток ( у на сне поверите - солнечное утро ... я очень рад этому ):
Итак по порядку:
2sS (*) (2003-09-17 17:17:19.431807)
Задача была такая - для катион-радикала метионина расчитать константы СТВ ab initio . Чистая квантвоая химия. Всего лишь 23-24 атома второго и третьего периода. Про тире - не спрашивайте - это уже другая история, и расскажу я Вам её следующий раз -). Методы - теория возмущения второго порядка. Вообщем могу сказать - что задачи некоторые прогонялись сутками на 4-х коппермайнерах / в виде кластера / .. насиловали жесткий диск /очень много интегралов /.... И сам по себе объект требовал конформационного анализа ... + возможность учета растворителя .... ёпть ... вот тогда у меня крыша и потекла )))). В итоге только кач-ые результаты, кол-ые - пока не по зубам ....
2Antichrist (*) (2003-09-17 18:27:44.180408)
млина ... это есть молекулярная механика .... поверьте мне ... квантвовая химия сейчас - ab initio .

Best respect.$echo from Siberia.

Re:

Прошу прощения за ламерские вопросы, но разве не существует языков специально для паралельных вычислений??? Я понимаю что тот-же стаклесс питон сильно тормозлив и не подходит для грид вычислений, однако очень удивляет использование фортрана для подобных вещей. Опять-же если есть 5-6 кластеров то кто мешает объеденить их в грид. И разве нельзя считать 2 задачи которые требуют 20 процессоров на 40 процессорном кластере одновременно?

2dem (*) (2003-09-18 10:08:28.972212)
"удивляет использование фортрана для подобных вещей"
фотран - язык, созданный для научных вычислений изначально. для него сущесвтует очень хорошие мат.библиотеки /те же самые IMSL от компака/.
Мощный язык. Далее - использование билиотек MPI позволяет распараллелить код. HPF и его диалекты - позволяют писать изначально для распределённых вычислений.Далее - ср-ва автоматического распараллеливанняи /PIPS к прмеру/. Все в ваших руках ...
И разве нельзя считать 2 задачи которые требуют 20 процессоров на 40 процессорном кластере одновременно?
можно PBS,SGW,NQS,DQS - к вашим услугам. Но мой опыт показывает - самое сложно найти людей, кто будет ставить эти задачи и загружать кластер.

Best respect,$echo from Siberia.

млина ... очки купил .. но со старым рецептом -)
SGE - Sun Grid Engine .

Help!

Просветите новичка.

1. Какой софт лучше всего использовать для построения демонстрационного кластера под Linux?

2. Есть ли конкурирующий софт для кластерных вычислений для мастдайки? Насколько он лучше или хуже софта для Linux?

Если надо кластер чисто демонстрационный, -- то _любой_ (читай -- свой любимый) дистрибутив Linux (сеть, gcc/g77 желательны ;) и (если в дистрибутив не входит) MPICH последней версии. Чтоб не париться -- лучше сразу поставить rsh.

Всё.

Const

Звиняюсь, про второй вопрос забыл.

Конкурирующий софт для оффтопика -- тот же MPICH, к примеру ;)

Как оно работает -- обратитесь в ННГУ, они извращаются.

Const

2Const

а почему MPICH, а не LAM?

Почему -- не LAM? Да не знаю. Может потому что мне (исторически) кажеться, что собрать/настроить MPICH проще ;)

Const

А чего про MPI рассказывать-то? http://www-unix.mcs.anl.gov/mpi/

Const

2anonymous (*) (2003-09-18 12:23:18.890025): Про неё, на самом деле, тебе гораздо лучше расскажет... хм... Ну есть тут, на LOR'е чудик, фанат Debian'а... DPKG у него ник, кажется... Вот его UIN: 157446718

Скрыть модуль

>Обычно - Фортран + какой либо самописный препроцессор

Применительно к CFD пакетам умеющим класТЫрить

Сольверы
50% - FORTRAN и его ветки типа HPF
25% - С
25% - ++


BTW: Правда один "русский физик" на http://www.cfd-online.com
как то впаривал про паралельный сольвер на Java ;)
там международный колектив в мягкой форме (все же не ЛОР ;))
просил дать адресок поставщика травы - но тот как то не проникся ;)


Препроцессоры (генераторы сеток - bla-bla-bla) и постпроцессоры
- C/C++/Java

>Почему -- не LAM? Да не знаю. Может потому что мне (исторически) кажеться, что собрать/настроить MPICH проще ;)

одно и тоже и там и там rsh поднимать надо

Скрыть модуль

2anonymous (*) (2003-09-18 08:09:48.277311)

Я в квантовой химии не иглесиас так что что -либо сказать
про сложность задачи не могу

а вото про

>что задачи некоторые прогонялись сутками на 4-х коппермайнерах / в >виде кластера / .. насиловали жесткий диск /очень много интегралов /

Это явно НЕ ТО железо которое позволяет что то сделать ...

У меня под столом пожалуй система стоит побыстрее, 4 разнокалиберных атлона (от 1.6+ до 2.6+ и пенек4 2.4ГГц
среда передачи - 100-Мегабитка с бондингом (большего у местных умельцев не нашлось) - собрано это чудо было за 3 дня на коленке
- походный вариант так сказать ;)))


BTW: Я вот сейчас сижу и думаю что брать (в родной отдел ;))
двухголовые МР-шки (топовые модели) или дождаться когда Оптероны упадут в цене - проблема только что хотелость бы поиметь все это вместе с необходимой периферией и всякой другой лабудой типа стоек и гигабитных свитчей (на нормальную среду передачи MiB денег не дают ;)) в одном месте а в Москве это нужно исчо поискать (если платить разумные деньги)

>Почему -- не LAM? Да не знаю. Может потому что мне (исторически) кажеться, что собрать/настроить MPICH проще ;)

одно и тоже и там и там rsh поднимать надо

Ну, не столь обязательно rsh. Можно и на ssh сделать А LAM и MPICH -- действительно почти одно и тоже ;) Разные реализации. Кстати, кто в курсе: MPI-2 где в лучшем состоянии находится?

Скрыть модуль

2dem
>Прошу прощения за ламерские вопросы,

Дык просвещайся - начинать можно
отсюда http://parallel.ru

> но разве не существует
>языков специально для паралельных вычислений???

Есть конечно - как им не быть - проблемма только что
1) Библиотеки для HPC исторически писались на фортране ну и сейчас многое уже перенесено на С (что вобщем позволяет их пользовать и в С++)
2) Опыта применения таких язков (а следовательно и число людей их знающих) это что то около машинного нуля...
3) Реализация этих языков оставляет желать .... короче всего она оставляет желать - это следствие п2

Сейчас наиболее всего распространены
1) Библиотеки к уже существующим языкам поддерживающие соответствующую спецификацию (MPI, PVM)
3) Параллельные расширения языков. OpenMP к примеру. Это штука более высого уровня абстракции чем п1 но у нее есть свои ограничения - связанные с опять же реализацией всего этого дела
- сейчас OMP более менее хорошо реализован только для SMP архитектур

>Я понимаю что
>тот-же стаклесс питон сильно тормозлив и не подходит для грид
>вычислений, однако очень удивляет использование фортрана для
>подобных вещей. Опять-же если есть 5-6 кластеров то кто мешает
>объеденить их в грид.

Возможности и стоимость среды передачи которая в кластырях
имеет зачастую бОльший удельный финансовый вес чем те же камни к примеру

> И разве нельзя считать 2 задачи которые
>требуют 20 процессоров на 40 процессорном кластере одновременно?

да хоть 2000 (если задача не memory expensive)

Скрыть модуль

>1. Какой софт лучше всего использовать для построения демонстрационного кластера под Linux?
Task depended
>2. Есть ли конкурирующий софт для кластерных вычислений для мастдайки? Насколько он лучше или хуже софта для Linux?

PVM - узлы будут конкурировать в рамках одного кластера прямо
на одной задаче ;) (для тех кто не знает что такое PVM это шЮтка ;))

Есть конечно но разумеется не за бесплатно (как правило)

хотя AFAIK PVM и MPI реализации есть и бесплатные

вижу знакомые лица... вернее подписи

sS (*) (2003-09-18 13:15:44.733138)
"Это явно НЕ ТО железо которое позволяет что то сделать ...
" - окститесь... мы в России ... Сам кластер 12*2 процессоров ... Просто пользователей много, да и с программой Gaussian есть проблемы - прирост произсодительности достаточно бысторо спадает при увелечении колв-ва узлов.

"У меня под столом пожалуй система стоит побыстрее, 4 разнокалиберных атлона (от 1.6+ до 2.6+ и пенек4 2.4ГГц
среда передачи - 100-Мегабитка с бондингом (большего у местных умельцев не нашлось) - собрано это чудо было за 3 дня на коленке
- походный вариант так сказать ;)))"
Бюджет принят:
к Athlon2000+MP присоединится еще Athlon XP 2500+/AMD K7 GigaByte GA-7N400Pro ....
. + в нагрузку Dual Intel Pentium-III ))))
Не Вы первые, не Вы последние 0). /млина мне уже по ночам снится сей зверёк )))))/
"BTW: Я вот сейчас сижу и думаю что брать (в родной отдел ;))
двухголовые МР-шки (топовые модели) или дождаться когда Оптероны
упадут " - MP -)
Best respect.$echo frim Siberia.

У цернского GRID-а другая цель - более-менее онлайн обработка больших потоков данных с LHC, для хранения которых у самого CERN-а просто никаких средств не хватит. Тут любое другое решение было бы значительно дороже (хотя, лично мне далеко не всё в этой затее нравится).

Скрыть модуль

2anonymous (*) (2003-09-18 14:26:39.259931) from Siberia
>Сам кластер 12*2 процессоров
а среда передачи ?
2x3Com-овских 6-портовых гигабитных свича ? ;)


>MP -)

Я вот тоже про это думаю ;)
Правда по другой причине. Хоца новый ноут с казенных денег
прикупить а это можно сделать только когда будет куплен весь "официально" заявленный список оборудования ;))
Такие уж тут порядки сранные ;)

2sS (*) (2003-09-18 14:43:34.636752)
>Сам кластер 12*2 процессоров
а среда передачи ?
2x3Com-овских 6-портовых гигабитных свича ? ;)

как же ))) /хотя скоро такой запустят .... вот пустят лм ?/


Правда по другой причине. Хоца новый ноут с казенных денег
прикупить а это можно сделать только когда будет куплен весь "официально" заявленный список оборудования ;))

это по-нашему )))

"Такие уж тут порядки сранные ;) "
н-да .. мне б такие -) /мечтательно так/

Best respect, /кароче ломает писать / )))

Прекратите, надоело!

Вопрос: моя жена говорит, что разница между MPI и LAM поглубже, чем просто разные реализации одного и того же интерфейса. Не понимаю, в чём разница?

Скрыть модуль

>Вопрос: моя жена говорит, что разница между MPI и LAM поглубже, чем просто разные реализации одного и того же интерфейса. Не понимаю, в чём разница?

Могет ты чего недопонял в обяснении ?

"LAM/MPI is a high-quality open-source implementation of the Message Passing Interface specification"

MPI - спецификация
LAM - её реализация

Antichrist (*) (2003-09-18 14:36:08.08676) про GRID

Ну, дык это-то понятно, но пока LHC не заработал многое можно посчитать фактически на шару. Я так понял, что в МГУ так примерно с их кластером и поступают - хотя сам не видел, так что дальше врать не буду. Так что те, кому мощи не хватает срочно присоединяйтесь - маскируйтесь под ФЭЧистов пока не поздно.

С уважением Евгений

P.S. Лично я слабо представляю задачу (ну кроме обработки LHC и Lattice QCD) которая требует числодробильни больше чем с десяток писюков. Не, я могу загрузить и большее количество каким-нибудь моделированием - даже польза будет, но можно и просто подумать. Или эксперимент организовать - в любом случае проверять придётся.

anonymous (*) (2003-09-18 13:29:18.61854):

> Кстати, кто в курсе: MPI-2 где в лучшем состоянии находится?

Советую забыть пока про MPI-2. На сегодняшний день поддержки MPI-2 не существует в природе. LAM поддерживает бОльшую часть MPI-2, но как-то по-своему, IMHO не совсем правильно. MPICH практически не поддерживает - только некое тривиальное подмножество, самого вкусного нет.

Очевидно, надо дождаться MPICH - именно он определял стандарт MPI-1, он был специально создан для отработки стандарта.

Далее следует подождать, пока его будут поддерживать ведущие вендоры, TotalView и Vampire - без них тяжко - думаю, годика через 3 можно вспомнить про MPI-2.

Насчет PVM - с появлением MPI-2 он отомрет. Все, что есть вкусного в PVM, присутствует в MPI-2. Вендоры потихоньку сворачивают поддержку PVM.

Скрыть модуль

2Evgueni

>Лично я слабо представляю задачу (ну кроме обработки LHC и Lattice QCD) которая требует числодробильни больше чем с десяток писюков.

Дык давай сюда http://www.eads.net/eads/en/index.htm
или сюда http://www.nasa.gov/home/index.html?skipIntro=1
если сможешь решить все - что они хотят на 10 писюках они глядишь
пару тройку тыш народа подсократят за ненадобностью вместе с оборудованием

>Или эксперимент организовать - в любом случае проверять придётся.

Угу - например посадку на Тритон ;)))

ух ты, R00T собственной персоной...

> Ну есть тут, на LOR'е чудик, фанат Debian'а...

Я не фанат Debian, как и не фанат чего бы то ни было.
Просто Debian -- наименее кривой из всех дистров GNU/Linux.

> DPKG у него ник, кажется...

Dselect, а не DPKG...

P.S. Как там MPICH на [отброшено цензурой] Slackware?
P.P.S. Эта библиотека нормально собралась на следующих платформах:

x86 GNU/Linux (Debian 3.0)
x86 GNU/Linux (SuSE 7.2)
Alpha GNU/Linux (Debian 3.0)
SPARC Solaris 9
SPARC GNU/Linux (Debian 3.0)
x86 Solaris 8
x86 Windows NT 4

И только гениальный R00T с супер-дистрибутивом Slackware умудрился
что-то сделать не так...

Вышел Squid 2.5-Stable4

Лично я слабо представляю задачу (ну кроме обработки LHC и Lattice QCD) которая требует числодробильни больше чем с десяток писюков.

Метерология, георазведка. Правда здесь суперкомпьютер нужен, от

писюковых кластеров проку мало.

ЗЫ Модерам спасибо, приятно, что гавнюков убрали.

Evgueni (*) (2003-09-18 15:27:35.068591):

> Лично я слабо представляю задачу (ну кроме обработки LHC и Lattice QCD) которая требует числодробильни больше чем с десяток писюков.

Дык - скока угодно! Огромное кол-во мелких тупых задач параллелятся на 100%, просто "в лоб". Конечно, задачки специфические, но жизненные.

У меня за стенкой студент сидит - не мог сумму посчитать, пока не переписАл программку (совершенно тупую!) на MPI. Линейно параллелится на 256 процессоров (больше ему не дают)! Правда, он не на кластере считает - но на кластере было бы то же самое. Ради прикола Вампиром задачку гоняли - оверхед на коммуникации - менее процента. Ну, на кластере будут, может быть, проценты...

Однако, факт: вместо годов - дни.

Скрыть модуль

2Die-Hard
>Насчет PVM - с появлением MPI-2 он отомрет. Все, что есть вкусного в PVM, присутствует в MPI-2. Вендоры потихоньку сворачивают поддержку PVM.

Судя по всему это похоже на правду :(((

Вот только маленькая поправочка - все фичи PVM появятся не раньше
MPI-3

Скрыть модуль

Кстати вот это как - подохло или еще народ
ковыряетя ?
http://www.netlib.org/mpi/pvmpi/pvmpi.html

Скрыть модуль

2Dselect

>P.S. Как там MPICH на [отброшено цензурой] Slackware?
>...супер-дистрибутивом Slackware умудрился что-то сделать не так..


А что там можно сделать не так ?

Собирается тихо и без шума и пыли

что можно сделать не так...

2sS:

> А что там можно сделать не так ?

Вот и я удивляюсь -- ЧТО?

Спросите у R00T'-а.

Мое предположение -- libc.a и libc.so.6 оказались
собранными разными версиями gcc [в файлопомойке под названием
Slackware это вполне возможно], из-за чего [изредка] и возникают
всякие "необъяснимые" глюки при сборке софта.