>один(!) файлсервер на 2128 корок (!)

Ядер, а не корок :) Как мне сказал человек, который его покупал (он у меня пары ведет), "а нахрен вам больше?"

Процессоры там на момент подписания были новейшие, А главное это шикарные интерконнекты :) Анонимусы сосут.

>> А сколько это должно стоить?

>Ну, по моим подсчетам, раза в 2 дешевле.

>Да и даже не в том дело, что дорого, -- как-то не тянет вся эта конфигурация на "новейшую" и "уникальную"...

а слабо за неделю за свои деньги сделать в два 3 раза дешевле и в 4 раза производительнее... под ключ?

Ну все, разбор полетов переходит на качественно новый уровень.

господа, похоже большинство из присутствующих кроме попугаев ничего не знает 1) попробуйте хоть какое-то полезное запустить под PS3

2) PS3 не смотря на свои супер попугаи имеет 512мб оперативки, реальные задачи, не перебор ключей, а например молекулярная динамика требуют на порядок больше

3) в каких попугаях меряете производительность? опять в одинарной точности?

4) попробуйте на PS3 поставить интерконнект что-то лучше чем гигабит =) на многих задачах гигабит валит производительность уже на 4-8 узлах

PS3 это игрушка не более того и цена у нее тоже как у игрушки

> 2) PS3 не смотря на свои супер попугаи имеет 512мб оперативки, реальные задачи, не перебор ключей, а например молекулярная динамика требуют на порядок больше

На порядок? В смысле в 10 раз, т.е. 4GB? Вы хотели сказать "на три порядка для подсчёта хотя-бы основного состояния и ещё порядок для молекулярной динамики".

> Ядер, а не корок

Согласно словарю Мюллера: "core: сердцевина; внутренность; ядро;..."

> Как мне сказал человек, который его покупал (он у меня пары ведет), "а нахрен вам больше?"

Уверяю, он неверно сказал. Я имею опыт общения с кластером на 3000 корок, в котором 10 файловых серверов для данных и 2 для метаданных... Тормозит!

> Процессоры там на момент подписания были новейшие,

Еще раз -- эти процессоры были новейшими год назад. Его что, год "подписывали"?

> А главное это шикарные интерконнекты.

Это САМЫЕ ДЕШЕВЫЕ интерконнекты, возможные для такого кластера. Дешевле только Ethernet, но он и так там присутствует.

>> Да и даже не в том дело, что дорого, -- как-то не тянет вся эта конфигурация на "новейшую" и "уникальную"...

> а слабо за неделю за свои деньги сделать в два 3 раза дешевле и в 4 раза производительнее... под ключ?

Я говорю на основе личного опыта.

Кстати, Бимеры всегда цены раза в 2 задирают. И именно ТАКИЕ кластеры -- не их конек.

> будете сильно удивлены что на fp phenom 2GHz вполне конкурирует c intel quad core 3GHz

K10 конкурирует с 5300 серией. С 5400 уже нет.

А, между тем, нормальный Harpertown, в отличие от Barcelona, УЖЕ доступен на рынке.

>Вообще новость 4.2 >Этот суперкомпьютер запустили больше месяца назад.

Это ты абсолютный 4.2. Был там 17 числа - там только настройка всего оборудования полным ходом шла, а месяц назад там даже железа не стояло.

либо не честны, либо не умны

Это перевод денег из казны в личные карманы. Бессистемные дезинтеграторы by default идут читать материалы свежепрошедшего SC07: http://www.gpgpu.org/sc2007

В университете иллинойса студенту дают для разработки машину с cuda картой, после чего ставят задачу на счёт на nvidia tesla. Потому что за деньги одного гроба с протухшим на момент запуска кремнием можно накупить таких кучу.

Разница примерно такая же, как при переходе с компьютера в виде двух столов (на первый кладёшь перфокарты, а со второго через день забираешь листинг) к персональным компьютерам.

Цуперсомпьютеры для обучения студентов - сдохли. Всё. Кирдык. http://www.supercomputingonline.com/article.php?sid=14812

Слабенький пеар, дядя ;)

>Цуперсомпьютеры для обучения студентов - сдохли. Всё. Кирдык.

К сожалению вы правы, только почему то у нас в институтах этого не понимают.

>Уверяю, он неверно сказал. Я имею опыт общения с кластером на 3000 корок, в котором 10 файловых серверов для данных и 2 для метаданных... Тормозит!

Суся ? :)

> Суся ? :)

Суперроутер на 3000 корок?

А вот это уже неплохо так. Кошки сосут.

>а чем оно лучше Microsoft Windows Compute Cluster Server 2003?

Тем что это проприетарное быдлоподелие не поддерживает ни MVAPICH2 ни Lustre(FS) ни PVFS2 и еще о-о-о-чень длинный список всяко-разного кластерного софта...

По subj. Cкорость с какой появляются новые треррафлопсовые суперы в российских вузах (особенно за последний год) весьма радует. Осталось загрузить их адекватными задачами.

>> Суся ? :) 
> Суперроутер на 3000 корок? 
> А вот это уже неплохо так. Кошки сосут.

Децкий сат на прагулке ;)

Мальчик, не мучайте кошечку ;))))

>В университете иллинойса студенту дают для разработки машину с cuda картой, после чего ставят задачу на счёт на nvidia tesla

Что считают в авиационном вузе у куда можно засунуть эту теслу в таких задачах объяснить ? :)))

hint: Ливермор заказывает "протухший кремний" от компании на три буква в неимоверном количестве в последнее время ... поинтересуйся на досуге для каких задач.

>Кстати, Бимеры всегда цены раза в 2 задирают.

Таки да. Поэтому мы предпочитаем отечественного производителя ;)

>K10 конкурирует с 5300 серией. С 5400 уже нет.

K10 (в нынешнем виде) как и 53xx это считай пилотная серия непригодная к реальному использованию из за низкого отношения _реальная_производительность/цена.

По этому показателю боевые системы это 54xx,51xx,22xx (топы разумеется)

>Уверяю, он неверно сказал. Я имею опыт общения с кластером на 3000 корок, в котором 10 файловых серверов для данных и 2 для метаданных... Тормозит!

Один сервер данных на 300 корок и 1 сервер метаданных на 1500 корок ? Еще бы они не тормозили ;)

У меня 1 сервер данных и 1 сервер метаданных на 4 корки и то тормозят... это правда если попытаться загрузить весь кластер I/O задачами под завязку и синхронно ;)

>Может я чего-то путаю, но у кластира от HP (МСЦ) 45 тфлопс.

Дык то Масква а то Рассея, почувствуй разницу ;)

>> на базе 532 четырехъядерных процессоров Intel® Xeon® серии 5345 >Хлам погребной.

Таки да. Хотя студикам наверное и этого хватит чтобы учиться.

Ну и по традиции имею несколько вопроссов:

1. Gentoo там быстро собирается ?

2. dd if=/dev/zero of=/dev/null bs=64k count=1000000 ?

3. time grep жопа /dev/urandom ?

Пока на будет ответов на эти вопросы, рано говорить о пригодности этого кластера в реальной жизни.

>памяти -- адын гиг на корку

Для тех задач что там будут скорее всего крутить это оптимум.

Конечно можно и больше поставить но это уже не повлияет на скорость особенно если учесть

>диску там -- 13 гиг на корку

Тут налицо явная экономия ;) Причём жОсткая

>чего они считать на этом собираются?) один(!) файлсервер на 2128 корок (!)

Да понятно что. Какое нибудь CAE типа Fluent,CFX,LS-DYNA blah-blah-blah.... там конечно I/O минимален но уж так экономит не следовало бы ;)

>Впрочем, "включая инфраструктуру и приспособление помещения" -- а какая особая инфраструктура нужна для шести шкафов с водяным охлаждением, интересно?

Новая электроподстанция ? ;)

>Пока на будет ответов на эти вопросы, рано говорить о пригодности этого кластера в реальной жизни.

ананимус, такие кластеры не нужны для вашей реальной жизни ... ну разве что погреться когда отопление вырубят ;)

>а слабо за неделю за свои деньги сделать в два 3 раза дешевле и в 4 раза производительнее... под ключ?

За неделю с нашей таможней не выйдет. А в 2 раза дешевле и в 2 быстрее это легко. И разумеется под ключ и за свои деньги.

> К сожалению вы правы, только почему то у нас в институтах этого не понимают.

Исчо один "панимающий" ;) Пацтулом ;)

Марш портироровать Star-CD или Fuent под куду ;)

http://www.compulenta.ru/news/2003/10/9/42473/

Вот это понимаю - кластер :) Жаль только на Windows Mobile =)

time grep жопа /dev/urandom Binary file /dev/urandom matches

real 1m46.664s user 0m3.165s sys 1m34.178s

i am winrar?

>Вот это понимаю - кластер :) Жаль только на Windows Mobile =)

Под линуксом такой уже давно существует ....

http://handhelds.org/projects/skiffcluster.html

http://handhelds.org/cam.html

Каков откат?

>time grep жопа /dev/urandom Binary file /dev/urandom matches

>real 1m46.664s user 0m3.165s sys 1m34.178s

Еще один не осилил Unicode...

Да, во фре с ним как-то уныло.

>Еще один не осилил Unicode...

Ты идиот ?

ss@hyperblade-master:~> time grep 123 /dev/urandom
Бинарный файл /dev/urandom совпадает

real    0m0.360s
user    0m0.000s
sys     0m0.360s

ss@hyperblade-master:~> echo $LANG
ru_RU.UTF-8

А ты не три циферки ищи, а нечто, написанное кириллицей буквы так на 4 :)

time grep **** /dev/urandom

Бинарный файл /dev/urandom совпадает

real 52m19.243s user 0m13.425s sys 37m56.262s

Правда машинка не сильно мощная. Там были 4 буквы кириллицей :) Athlon 1700+ -> 1500 MHz

>>Кстати, Бимеры всегда цены раза в 2 задирают.

>Таки да. Поэтому мы предпочитаем отечественного производителя ;)

В Европе мелкие компании реально предлагают раза в 2.5 дешевле Бимеров, правда, старье.

Мы второй раз на SGI решились (4 года назад Альтиксы у них покупали) -- дешево, и на самом переднем фронте! :)

>В Европе мелкие компании реально предлагают раза в 2.5 дешевле Бимеров

А те что в top500 это мелкие (из европейских) ? А то я только Bull знаю но она на мелкую не тянет.

>> Как мне сказал человек, который его покупал (он у меня пары >>ведет), "а нахрен вам больше?"

>Уверяю, он неверно сказал. Я имею опыт общения с кластером на 3000 >корок, в котором 10 файловых серверов для данных и 2 для >метаданных... Тормозит!

Плохая оптимизация у вас :) А кластер учебный все же. На чем можно съэкономить - экономили. А подписывали его не меньше, чем полгода, конкурс-то весной был.

Объясни. Я что-то давно (ещё со времён ПС-2000) не слышал вменяемых объяснений почему для газодинамики лучше иметь больше плавающей точки чем больше узлов.

За <b>те же деньги</b> я всегда предпочту более детализированную картину. В llnl денег же традиционно не считают.

И второй аспект: на цуперсомпьютерах считает в лучшем случае десяток наиболее активных студентов. Остальные с полным непониманием в глазах передирают у соседей лабу совершенно не задумываясь. Потому как в этой лабе 5% счёта, а остальное - система доступа к выч ресурсам. И вдобавок какие-то с неба упавшие чужие алгоритмы.

cuda рассчитана на *персональные* считалки. Я могу их поставить *каждому* студенту в писюк. И положить по tesla box на каждый класс из 12 машин.

Иначе говоря на 200 студентов мне нужно 50 килобаксов на gpu карты в писюки + 300 килобаксов на 20 тесл по дисплейным классам. Пусть ещё 150 килобаксов на провода и background. Итого поллимона зелёными.

При этом даже если 10% оборудования выйдет из строя - и фиг с ним, будем медленно чинить, на учебном процессе это не отразится.

Ещё раз, медленно: за 500 тысяч долларов можно сделать систему *для* каждого студента. Вместо конечно хорошего, но существенно более дорогого, ненадёжного, требующего строительства датацентра, порождения сетевой, административной, хозяйственной архитектуры и страшно далёкой от студентов. Это если ничего не прокрадут и не сломается.

Разница только в том, что на кластере можно будет считать любую задачу, а на сети из tesla box только вычислять число пи.

> А те что в top500 это мелкие (из европейских) ?

Нет, "мелкие" не занимаются исследованиями и рекордными решениями, они закупают оптом железяки, собирают кластеры (максимум на пару сотен нод) "под ключ" и 3 года их сопровождают на предмет замены сломавшегося.

Да, во избежание непоняток -- SGI я к "мелким" не отношу.

>Объясни. Я что-то давно (ещё со времён ПС-2000) не слышал вменяемых объяснений почему для газодинамики лучше иметь больше плавающей точки чем больше узлов.

Можно еще раз и на гражданском языке ?

>cuda рассчитана на *персональные* считалки. Я могу их поставить *каждому* студенту в писюк. И положить по tesla box на каждый класс из 12 машин.

Вы эту куду програмили ?

А _реальные_ CFD задачи решали ?

На чём студент будет считать (в плане софта) если:

а) Существует годами сложившийся _промышленный_ стандарт на CAE и этот софт ни разу не для куды.

б) Идеология CUDA отвратительно ложиться на существующие CFD коды если мы имеем ввиду их распараллеливание.

В CFD основной метод параллельной распилки задачи это domain decomposition - то есть задача _физически_ пилится на кучу _таких_же_ но более мелких задачек а потом склеивается по границам на которых осуществляются обмены (halo exchange). Другие методы распилки хорошо если 5% занимают в CFD и это очень частные случаи которые народ программит врукопашную. Стандартный CAE софт из за 5% мараться не будет. Это удел энтузиастоФФ.

>Ещё раз, медленно: за 500 тысяч долларов можно сделать систему *для* каждого студента.

Пишите техобоснование и попытайтесь пробить грант ;)

>Вместо конечно хорошего, но существенно более дорогого, ненадёжного, требующего строительства датацентра, порождения сетевой, административной, хозяйственной архитектуры и страшно далёкой от студентов. Это если ничего не прокрадут и не сломается.

Про "ненадёжное" решение даже смешно ;)

У меня в своё время супруга в универе преподавала какой то програмный ликбез. Там системы в компутерных классах централизованно переставлялись начисто _еженедельно_ .

Кроме всего прочего вы в курсе сколько стоит лицензия на такой софт ? А она (лицензия) per host.

Завести 200 аккаутнов проще на порядок ну а о скорости счёта и серьёзности решаемых задач даже и сравнивать не хочется.

На PC конечно можно сэмулировать кластер, но научить на нём решать серьёзные задачи нереально.

А за 500 килобаксов можно о-гого какой кластер собрать если брать решение не от бимеров и если есть опыт. Я кстати прекрасно понимаю как принималось решение и в каких условиях. Полгода назад прото время было не осень удачное для принятия таких решений а решение принимать было надо, таковы правила игры (финансовой) в нынешней ситуации.

PS: Посмотрел по диагонали pdf-ку

У них основной софт будет Star-CD и Ansys. У них потолок эффективности это ~100 воркеров _самый_максимум_, то есть 20 задач одновременно в максимальной эффективности ... реально же комфортная скорость (для учебных целей) будет достигаться на ~20 воркерах.

Этого студентам за глаза хватит.

s/максимальной эффективности/максимальной скорости/

Максимальная эффективнось будет понятно дело на одном воркере ;)

>Да, во избежание непоняток -- SGI я к "мелким" не отношу.

Это было бы смешно ;)

http://www.top500.org/stats/list/30/vendors

Первый эшелон это бимеры и HP

Второй Dell,SGI,Cray

Остальное это статистический шум ;)

> Цуперсомпьютеры для обучения студентов - сдохли...

Не понял...

Этот кластер -- его что, для обучения студентов будут пользовать? А не жирно? Типа, студенты на нем лабораторные будут считать? Да на эти деньги можно было каждому студенту купить в персональное пользование по четырехкорковой рабочей станции!

У нас в универе (Германия) есть несколько кластеров побольше обсуждаемого, и все загружены по самое нехочу. Но студентов к ним не подпускают (если, конечно, студент не участвует в научном / промышленном проекте). Для студентов на факультетах есть кластеры рабочих станций, им за глаза хватает. По крайней мере, никаких очередей к компьютерам (как в мое время в МГУ) я ни разу не видел.

>Этот кластер -- его что, для обучения студентов будут пользовать? А не жирно? Типа, студенты на нем лабораторные будут считать? Да на эти деньги можно было каждому студенту купить в персональное пользование по четырехкорковой рабочей станции!

Это ж самолётчики. У них специфика такая ;)

На четрырёхкорковых станциях они будут только сетку генерить для турбинной решётки а на кластере будут уже всё это дело считать.

ЗЫ: Использование боевых программ в учебной программе для технических вузов это нормально. Я помнится еще в мою бытность студентом считал курсовик на точно такой же программе на которой реальные Топ^Wизделия считали на EC1036. Вся разница была только в исходных данных.

>У нас в универе (Германия) есть несколько кластеров побольше обсуждаемого, и все загружены по самое нехочу. Но студентов к ним не подпускают (если, конечно, студент не участвует в научном / промышленном проекте). Для студентов на факультетах есть кластеры рабочих станций, им за глаза хватает.

У меня знакомый HPC-шник CFD-шник , англичанин, преподаёт HPC/CFD в том же универе в Германии где я временами контракты имею. Такие ужасы про уровень студентов в преподаваемой им области рассказывает что я почему-то верю что им своих ноутбуков хватает ;)

Но мы ж не немцы какие нибудь ;)

Для того чтобы научить чему нибудь полезному студика, его нужно в реальный проект включать обязательно.

>А я прочитал как самый мощный в России.

Ага.

А на полит.ру до этого было простенько и со вкусом: в России собрали самый мощный кластер.

> Это ж самолётчики. У них специфика такая ;)

:-)

Из 2E+4 ихних студентов дай бог один их 10 реально будет чего-то считать -- ты посмотри, там и Институт экономики и управления имеется, и даже гуманитарный факультет.

Из оставшикся 2К в лучшем случае один из 10 заинтересуется "тяжелым" счетом. "И их осталось 200" -- по самым оптимистическим оценкам.

Если им купить по восьмикоркому десктопу, на все лабораторные и прочие игрушки хватит за глаза. ЛЮБАЯ современная "тяжелая" параллельная технология на восьми ядрах вполне отлаживается.

Конкретный многодневный счет нужен только для "реальных" проектов. Как я понимаю, этот кластер как раз для этого и куплен, а вовсе не для "лабораторных".

> Вся разница была только в исходных данных.

И я о том же: отладиться я могу и на десктопе, а крутой кластер нужен для обсчета РЕАЛЬНЫХ исходных данных.