Выбор серверов для числодробилки

Но таки разработчики софта рекомендуют Infiniband (это справедливо для нескольких программ, не для одной). Хотя это и правда скорее распределённые вычисления.

Тогда уж посмотри и на решения без Infiniband. Для распределенных вычислений более важно количество узлов, чем скорость взаимодействия.

> Замучишься выжимать максимум, упираться будешь не производительность процессоров.

Глупо терять производительность. Софт, использующий все возможности камней -> 2xпрофит

И нашем производителям зря не доверяешь.

Попилы, дурость, некомпетентность

Виктор, приходите на семинар Открытых Технологий и NVIDIA, который пройдёт в НГУ 21-го апреля. Семинар называется «Решение инженерных и научных задач на гибридных вычислительных системах, графические процессоры и архитектура CUDA». Участие бесплатное, зарегистрироваться и посмотреть программу можно по ссылке. Будет много докладов, в том числе и по вашей тематике.

Насчёт «CUDA нельзя» и «нет софта» - побеседуйте на семинаре с представителем MathWorks. Многие тулбоксы MATLAB'а поддерживают распараллеливание на CUDA. И не стоит бояться собственных разработок на CUDA, эта технология довольно приятна для программиста. По сути, это обычный C++ с минимальными расширениями. Программирование GPU-расчётов на шейдерах давно ушло в прошлое.

Касательно финансов - у ваших локальных поставщиков существуют решения с NVIDIA Tesla, соответствующие Вашему бюджету. Если у Вас будет интерес, то дайте знать, с Вами свяжутся по почте. Удачи!

Я имел в виду дистрибутивостроителей. Против «производителей» железа ничего не имею.

Замучишься выжимать максимум, упираться будешь не производительность процессоров.

Если не секрет, то во что упрусь? Консультироваться в Т-платформах я уже начал. К счастью у нас институт химический, программистов нет и не планируется. Но это я учту, спасибо за предупреждение.

> Но таки разработчики софта рекомендуют Infiniband (это справедливо для нескольких программ, не для одной). Хотя это и правда скорее распределённые вычисления.

Если софт специализированный, то может разработчики и посоветуют решение по кластеру?

Ответственное лицо и правда пока не особо разбирается в серверном железе, но, оно знакомо с расчётами и линуксом. Тема железа активно осваивается.

Если не секрет: с каким дистрибутивом?

PS: athlonXP упоминался как то, что было лучшее тогда. Сейчас его можно рассматривать только как шутку.

PPS: у меня было два общения с людьми, занимающимися суперкомпьютерами: с товарищами из Переславля (скиф) и с товарищами из университета г. Умеа (Швеция), и те и другие предлагали использовать их выч. мощности бесплатно, если будет ссылка на них в статьях. Возможно вам будет проще вначале попробовать свой софт на уже работающих суперкомпьютерах, чтобы получить первый опыт, который позволит понять какое решение будет правильным.

> еще одно скажу, тех кто будет сам писать проги для кластера, вообще лучше не допускать к их администрированию. Им начинают мешать всякого рода «условности» безопасности и открывают всё что не лень.

золотые слова.

Точной ссылки мы так и не увидим?

Я не говорил о том, что я НЕ доверяю сайту МГУ. Я сказал о том, что информация о «прекрасной работе» вызывает сомнения. А учитывая помпезность открытия, и регулярное муссирование в прессе что «наш» Ломоносов в топ500, отсутствие в той же прессе сообщений о качестве выполненных работ (и вообще о выполненных работах) как раз и порождает это сомнение.

Кафедра какая?

Если не секрет, то во что упрусь?

На обменах, на невозможности хорошо распараллелить определённые участки кода, на файловых операциях и т.д. Смотри реальную и теоритеческий производительность кластеров.

Точно также, с GPU основные узкие места: скорость передачи на GPU и обратно, объем памяти на GPU (последнее частично решается применением Тесл), разница скорость обработки double и float

Консультироваться в Т-платформах я уже начал

Ну и правильно.

Точной ссылки мы так и не увидим?

мне лениво искать самому, можешь посмотреть по номерам тут http://num-meth.srcc.msu.ru/

отсутствие в той же прессе сообщений о качестве выполненных работ

В обычной прессе этого никогда не пишут и не напишут. Им интереснее писать жареные новости типа той, что по твоей ссылке.

Кафедра какая?

заканчивал я кафедру вычислительной математики

Хорошая реклама! И место для семинара выбрано отлично :)

К сожалению, всё-таки CUDА не совсем то, что надо. Есть четко оговоренный набор ПО, которое не использует CUDA и не будет в ближайшее время, но которое должно работать на кластере. Программировать сам на этом кластере никто не будет (ну по крайней мере на данный момент не планируется). Молекулярная динамика, для которой есть готовый софт с использованием CUDA не входит в область наших интересов. Всем хочется зонные и полуэмпирические методы расчета, для которых, в данный момент, я не видел даже коммерческих приложений использующих CUDA.

с GPU основные узкие места: скорость передачи на GPU и обратно, объем памяти на GPU

Это точно. Простенькие операции с матрицами выполняются за микросекунды, а вот данные туда-сюда копируются аж несколько миллисекунд... В принципе, если бы у видеокарт было гигабайта 32-64 оперативки, было бы попроще...

Кстати, софт-то для какой платформы?

Возможно вам будет проще вначале попробовать свой софт на уже работающих суперкомпьютерах, чтобы получить первый опыт, который позволит понять какое решение будет правильным.

Уже используем на других компьютерах (в том числе самосбор на Debian) и на больших кластерах (RHEL), но есть интерес заиметь свой. Про университет Umea это вы хорошо упомянули. Есть там знакомые, может быть удастся пробить доступ и туда. А по поводу знакомства с дистрибутивами - я предпочитаю для серверов Debian, на декстопе Арч. Думаю, что ради этого можно потратить время на освоение Gentoo или сборку пакетов и ядер под любой другой дистрибутив. Думаю, что с вопросом про выбор дистрибутива я сюда вернусь, хотя в этой теме уже подсказали решения.

Разработчики ПО в общем говорят берите что можете что бы было побольше ядер, оперативки и Infiniband :) вот и всё. Конкретные решения никто не говорит.

>> Точной ссылки мы так и не увидим?

мне лениво искать самому, можешь посмотреть по номерам тут http://num-meth.srcc.msu.ru/

т.е. точной ссылки мы все-таки не увидим? Вот это обычно и называется слухами: вроде как есть, но ссылок не видно. СМИ уровня cnews (прямо скажем невысокий) никогда не выпустят материал без фактов, хотя толковать они их могут очень неожиданно.

В обычной прессе этого никогда не пишут и не напишут. Им интереснее писать жареные новости типа той, что по твоей ссылке.

Во-первых, неправда, а во-вторых дайте точные ссылки на специализированную прессу, а не «где-то в подборке журналов за год».

заканчивал я кафедру вычислительной математики

А сейчас какой статус в университете? И кто руководитель, если не секрет?

x86, x86_64.

> Есть четко оговоренный набор ПО

Вы не могли бы его озвучить? Спасибо!

P.S. не праздного интереса ради, а перспектив развития для

я как бы спрашивал вин/юникс?

А сейчас какой статус в университете?

к.ф.м.н., сейчас я сотрудничаю с ивм ран, статуса в университете нет

И кто руководитель, если не секрет?

никто, я сам по себе

> А по поводу знакомства с дистрибутивами - я предпочитаю для серверов Debian, на декстопе Арч. Думаю, что ради этого можно потратить время на освоение Gentoo или сборку пакетов и ядер под любой другой дистрибутив.

Тогда лучше использовать debian. Кстати, а из какой области задачи? Может будет интересно научное знакомство? Мой круг интересов это математические вопросы управления квантовыми молекулярными системами фемтосекундными лазерными импульсами.

Ананьевский М С Селективное управление наблюдаемыми в ансамбле квантовомеханических молекулярных систем // Автоматика и телемеханика, N8, 2007, С 32-43

в соавторстве с химиками:

Ananyevskiy M S , Vetchmkm A S , Sarkisov О M , Umanskn S Ya , Fradkov A L , Zotov Yu A Quantum control of dissociation of an iodine molecule by one and two femtosecond laser pulses excitation // Proc 2nd Intern Conf 'Physics and Control", IEEE St Petersburg, 2005, P 636-641

соавтор пленарного доклада:

Fradkov А , Ananyevsky M , Efimov A Cybernetical physics and control of molecular systems // Proc , 2nd Intern Conf «Frontiers of nonlinear physics», Nizhny Novgorod, Inst Appl Physics RAS, 2004, P 290-298

PS: jabber — [мой ник]gmail.com

> к.ф.м.н., сейчас я сотрудничаю с ивм ран

Ну чтож, будем знакомы. Я тоже к.ф.-м.н. из ИПМаш РАН, немножко работаю по совместительству в СПбГУ. Специальность — 01.01.09. Сфера научных интересов — математически теория управления.

ФИО выше указал.

я как бы спрашивал вин/юникс?

Для обеих, если часть соберёшь под виндой в cygwin. Вообще *nix.

Вы не могли бы его озвучить? Спасибо!

Примеры: quantum-espresso, wien2k.at, aguar для начала.

Нанотехнологии)) Углеродные нанотрубы и композиты на их основе. Графит, графен и всё что с этим связано. Правда всё-таки без такой тяжелой физики как у Новосёлова.

Когда уже ждать нанороботов-ассемблеров?:)

> Нанотехнологии)) Углеродные нанотрубы и композиты на их основе. Графит, графен и всё что с этим связано. Правда всё-таки без такой тяжелой физики как у Новосёлова.

Ну тогда с нашим институтом точно знакомы, и скорее всего, мы даже где-то пересекались.

Как только, так сразу!)

а ядро? а планировщик заданий?

ну ядро я и сам собрать могу, патчи доступны? Хотя, опять таки, про этот момент я не задумывался. Когда будем покупать - я думаю, что будет время освоит и определиться с дистрибутивом. Пока больше волнует железо.

>З.Ы.: еще одно скажу, тех кто будет сам писать проги для кластера, вообще лучше не допускать к их администрированию. Им начинают мешать всякого рода «условности» безопасности и открывают всё что не лень.

Феерический бред :) Писателям прог глубоко фиолетово как логин-ноды общаются с внешним миром. Им интереснее внутренняя структура вычислительного поля где безоапсность вообще перпендикулярна ввиду отсутствия какого либо выхода наружу.

у меня было два общения с людьми, занимающимися суперкомпьютерами: с товарищами из Переславля (скиф) и с товарищами из университета г. Умеа (Швеция), и те и другие предлагали использовать их выч. мощности бесплатно, если будет ссылка на них в статьях.

На счёт использования сторонних кластеров вполне поддерживаю. Получить доступ к более мощным системам не такая уж и проблема, даже в России с её нехваткой вычислительных мощностей, загрузка уже имеющихся все одно не полная, а показывать что оборудование работает надо.

Учитывая небольшой бюджет ТС, это система скорее для локальной апробации алгоритмов. При расширении связей, доступ к более мощным система позволит проводить более глобальные вычисления.

Учитывая ранее заявленное использование распределённых вычислений стоит посмотреть и в сторону GRID-сообщест.

Не забывай, что ТС собирается делать небольшую вычислительную лабораторию. А примеры когда на тих системах открыт доступ root-у по ssh с простейшим паролем я уже видел. кроме этого открывают ftp с полными правами для всех и т.д. А выход наружу у таких систем тоже достаточно популярен, особенно когда «хочется и из дома поработать».

З.Ы. и у таких Писателей прог иногда проскакивает замечательная фраза «А меня все эти условности по безопасности только раздрожают»

>ну ядро я и сам собрать могу, патчи доступны? Хотя, опять таки, про этот момент я не задумывался.

А стоило бы.

Когда будем покупать - я думаю, что будет время освоит и определиться с дистрибутивом. Пока больше волнует железо.

Танцевать нужно от используемого софта и на этой основе писать техзадание для поставщика. Те же т-платформы не худший выбор, раньше там были вполне компетентные люди которые могли дать правильный совет, хотя тот же IBM не хуже (но дороже :))

Деньги конечно у вас не большие - на террафлоп может не хватить
Оптимальный бюджет для начального уровня кластера (для работы а не для галочки) примерно в 2-2.5 раза больше

Зачем программеру вообще root-доступ ?
И нужно отличать доступ с логин-узла (который в общем виде должен быть и снаружи) и доступ внутри вычислительного поля.

Для наших задач 96 ядер это как раз начальный уровень, когда можно не зависеть ни от кого. Доступные сейчас системы не устраивает тем, что приходится стоять в очередях, что бы получить те же самые 96 ядер. С софтом я как раз знаком. Оно работает под любым *nix, где скомпилируешь. Зависит только от blas, lapack, ffwt и ещё пары подобных библиотек, предназначенных для вычислений, которые опять таки открыты или которые можно заменить на ACML или MKL.

А примеры когда на тих системах открыт доступ root-у по ssh с простейшим паролем я уже видел.

К счастью это не мой вариант. Про пароли я уже насмотрелся сам.

Ну и как-то не все на кластерах идут на то, что бы поставить купленный нами софт. И есть ещё заморочки, например кое-где нужны сетевые возможности X для удобства проведения расчетов и обработки результатов. Так что логин-узел будет ещё и «терминальным сервером» для некоторых.

Столько ненависти к генте

>Ну и как-то не все на кластерах идут на то, что бы поставить купленный нами софт

Понятно что свой кластер удобнее чем чей то ... но и дороже :)
У купленых кластерных программ основная засада это разворачивание менеджера лицензий на кластере, тут конечно свободный софт элементарно удобнее

У нас из этих соображений их как бы 2. Свой - поменьше и общеконторский - побольше.

И есть ещё заморочки, например кое-где нужны сетевые возможности X для удобства проведения расчетов и обработки результатов. Так что логин-узел будет ещё и «терминальным сервером» для некоторых.

Ну это не заморочки а вполне нормальная ситуация, пользуемся этим постоянно. Единственная засада тут скорость сети, а X без проблем работает поверх ssh

>Столько ненависти к генте

да не в ненависти тут дело а в элементарном опыте использования :)

Например вместо того чтобы просто накатить новый OFED на кластер
нужно будет разбираться почему оно не собралось :)

Ты хочешь за лям получить 12*8 ядер, и не можешь найти достаточно дешевого варианта. Это примерно ~10 тыс рублей за ядро.

С другой стороны, 6-ядерный феном, 16 Гб памяти, с бюджетным корпусом (блок питания fsp), m-atx асусовской материнкой и дешевым хардом обойдется в ф-центре в 15 тыс руб. То есть ~2.5 тыс руб за ядро.

Разница в стоимости аж в 4 раза.

Стоит хорошенько подумать, нужна ли серверная надежность и компактность, и нельзя ли вместо infiniband стерпеть обычные гигабитные сетевушки.

И как тут уже верно подметили, такие машинки потом можно спокойно утилизировать на рабочие станции.

http://img269.imageshack.us/img269/7317/robot1.png

К сожалению без Infiniband не обойтись. А про использование под рабочие станции - вопрос спорный: а) у нас никто не работает под Linux б) покупать к ним винду никто не будет в) у нас работает «кластер» на гигабите сборки 1998-2000 года. Он работает над задачами, которым не надо много ресурсов. И он до сих пор нужен! Хотя всё ПО есть на более новом кластере. г) более новый кластер сборки 2006 года тоже пользуется популярностью, даже при наличии суперкомпьютеров с нужным ПО, которые стоят в соседнем институте.

Я такие решения видел и даже рассматривал, к сожалению оно нам не походит.

>>К сожалению без Infiniband не обойтись.

А не пробовали ethernet bonding? По теоретическому пределу даже для пары eth-разъемов он подходит снизу к возможностям infiniband.

Я попробовал, у меня по данным iperf на связке из 2-х гигабитов получилось даже меньше чем на одном гигабите. Правда там свич не поддерживает 802.3ad и у меня получилось завести только в режиме balance-alb.

Насколько я понял, связь с каждым отдельно взятым сервером и клиентом осуществляется только через одну карточку. Т.е. нельзя получить больше гигабита (или 10G, если использовать такую сеть) между двумя компьютерами. А вот раздачу в 2Гбита на несколько клиентов можно.

В продаже просто infiniband я не видел, в основном везде 4x DDR, это 16Гб/с, что немного далеко от простых ethernet.

Для infiniband плюсом является remote direct memory access.

Если начальство хочет полноценный кластер - я согласен, что указанный бюджет маловат и его сильно отягощает этот самый infiniband. Потому я посчитал сколько будет стоить устраивающее решение с infiniband и отдал им цифры.