Подбор оборудования для вычислительного сервера

для сервера на видеокарточках нужно видимо CUDA

http://vr-zone.com/articles/from-gtc-2012-amd-r7970-preferred-over-nvidia-kepler-in-real-gpgpu-deployments-/15903.html

Ну, двоякая статья, «but we cannot compete on space optimized 1U and 2U, since AMD has no purpose-built (GPGPU) products for that.» У них нет форм-фактора под сервера, просто не хотелось бы иметь кучу стандартных компьютерных кейсов, а чтоб было все компактненько. Однак, все равно спасибо, как архитектура рвет нвидиа по полной, возьму на заметку.

FirePro на базе GCN пока не выпустили. Как выпустят - будут модели под сервера. Если не горит - подождите. Если горит - я не считаю разумным тратить большие деньги на то, чтобы получить гораздо меньше вычислительных ресурсов.

а что, нынче АМД в GPGPU рвет Nvidia? O_o! и давно?

С появления GCN.

Нужно смотреть, какое железо лучше всего поддерживается конкретным софтом, который планируется использовать. В общем случае AMD брать для расчётов не стоит просто потому, что кодовая база и средства разработки у OpenCL на порядок беднее. Но опять-таки, см. пункт 1.

ПО свое собственное, буду распараллеливать, да и система будет дорабатываться. Изначально хотелось бы систему общего назначения.

Аппаратная составляющая больше нужна для расчетной части, которую сейчас я кручу для расчетов в облаке, но мне не нужна возможность резкого расширения аппаратной составляющей за час, как для веб проекта. Соответственно на нужном клауде я быстро солью бюджет, а работы могут затянутся, до выхода на нужный уровень.

Плюс у меня отдельное железо для радиоканала с удаленными объектами и систему мониоринга я хочу все таки иметь у себя и не загружать еще и веб-канал.

Disclaimer: я пользователь CUDA.

В таком случае опять-таки советую отказаться от AMD. Во-первых, графики в той статье - типичная филькина грамота: не указано, на каком алгоритме они получены. Производительность GPU очень сильно зависит от класса задач. По имеющимся у меня (возможно устаревшим) данным, AMD выигрывает на задачах, упирающихся в ALU: это всякие там брутфорсы и биткоины. Но сливают на задачах, где требуется много доступа к памяти.

Если у вас аэродинамика, то можно считать, что это - сплошные матрицы. Под CUDA для этого есть хороший BLAS и LAPACK (последним я, правда, пользовался очень мало). Посмотрите сравнение по производительности и фичам с аналогичными решениями на OpenCL (можете и меня кастануть, тоже интересно, как нынче с этим дела).

Сам язык CUDA гораздо богаче: есть очень продвинутая поддержка шаблонов для device и host кода, есть thrust - аналог STL с алгоритмами на GPU.

Во-первых, графики в той статье - типичная филькина грамота: не указано, на каком алгоритме они получены. Производительность GPU очень сильно зависит от класса задач.

GK104 не для вычислений делался, вы разве не в курсе? Его проигрыш - не то, что требует проверки, а вполне ожидаемое событие. Если не в курсе, или не верите - поинтересуйтесь, как сама же nVidia позиционирует Квадры на GK104.

Да, тензорное исчисление и матрицы, и много другой ерунды.

Если б была возможность сравнить, даже на синтетических тестах, взять хоть часть своего кода и адаптировать, но нужно железо и из того лагеря и из другого. Насколько я понимаю CUDA развивается года на 2 дольше, поэтому имеет больше функционала.

За наставления, спасибо.

как сама же nVidia позиционирует Квадры на GK104

Как она их там позиционирует - дело маркетологов. От того, что они говорят, код работать легче не напишется, и работать быстрее не станет. Тесты на разных задачах и только тесты могут о чём-то сказать. Ну и про инфраструктуру я уже говорил.

Можно просто посмотреть сравнение скорости BLASов, их вроде всегда много было. Это довольно показательный тест, имхо.

Как она их там позиционирует - дело маркетологов.

Маркетологи в случае GK104 пытаются хоть как-то спасти положение, правда получается у них не очень - даже то оправдание, которое они выдали, выглядит неубедительно.

Тесты на разных задачах и только тесты могут о чём-то сказать.

Ну ищите тесты, дело ваше. Для меня вопрос GK104 vs. GCN в GPGPU был закрыт ещё несколько месяцев назад.

Ну и про инфраструктуру я уже говорил.

После разработки софта под OpenCL будет возможность (с небольшими затратами на доработку) соскочить хоть на nVidia, хоть даже на свободные дрова (поддержку OpenCL в них AMD заказали сами же клиенты). CUDA такой роскоши не предоставляет - vendor lock-in, все дела. Закономерным результатом такой диспозиции становится то, что инфраструктура под OpenCL растёт гораздо быстрее, чем в своё время под CUDA (потому что никому не выгодно пахать на благо nVidia - вот и AccelerEyes подтянулись). Сегодня библиотек на CUDA больше, но мы всё отлично понимаем, что такая ситуация сохранится не долго.

а ПО соответствующее? нету его для АМД столько, как для нвидия

а ПО соответствующее? нету его для АМД столько, как для нвидия

1. В процессе; дело времени.
2. ТС не касается.

ТС не касается

упс, пропустил=)

glusterfs убьет производитеьность.

на такие вещи НФС с широким каналом.

на GPU по-вашему что-то позволяет считать аэродинамику?

я бы взял для расчетов аэродинамики n 2unit supermicro с 4 amd6282 или 6284

и много памяти.

и кстати если вы не представляете чем можно считать аэродинамику то не рекомендую за это браться.

там ОЧЕНЬ много специфики которой учат годами.

у них нет 1u и 2u

подозреваю что есть 4u

Есть куча вещей, которые учат годами. Если я не знаю специфики мощных вычислительных расчетов, это не значит, что я не знаю принципов аэродинамики и обсчетов того что мне нужно. У меня уже есть ПО, на котором я выдавливаю по максимуму из довольно мощной системы. Поэтому тему и завел, на supermicro гляну.

Подожду пока они выпустят для серверов, время терпит.

я к тому что имеющееся можно впихнуть в 4u

а с расчетом на видеокартах у меня лично получалось для openFOAM написать солвер который упирался в то что для приличной матрицы преобразование в нужный для видеокарты вид убило производительность.

За 5 килоевро ты купишь только салазки для крейта для блейд-серверов. Утрирую естественно, но не сильно. Так что купи какой-нибудь компьютер с Тесла на борту если тебе именно GPU нужно, только вот намаешься с ним выше крыши.

За 200к на наге продают полностью набитую корзину хапе с 12 серваками вроде, по 2 оптерона в каждом. Бу конечно, не новейший, но с гарантией. Так что насчет салазок ты перегнул :)

Хорошо, кроме салазок придётся купить стойку, ИБП и коммутатор и тут 5 килоевро внезапно кончатся задолго до окончания покупок. Это при условии, что вам не придётся покупать кондиционер и трансформатор ☺

в общем можно попробовать узнать цену готового решения, например у тех же t-платформ есть готовые вычислительные узлы с Tesla. Узлы легко стекуются.

Но 5к€ действительно не так много. С другой стороны, можно собрать более-менее неплохую числодробилку, если делать это ручками. Например 4х сокетную мать + Intel 4xXeon ~ 3к€ + память + харды + шасси + ибп = 5к€

4xXeon
ручками

/0 Можно подумать, есть варианты кроме супермикры.

Например 4х сокетную мать + Intel 4xXeon ~ 3к€

4хE5-4603 + мама + шасси уже больше 4к

ручками в смысле покупать железо и собирать самому.

E5-4603 Release date May 14, 2012

Понятно. Даже в московских магазинах, если верить гуглу, их пока нет. Наверное, через пару-тройку месяцев появятся.

если собирать на 1366?

DP тогда только.

В любом случае, даже одна современная видеокарта при грамотном написании алгоритма порвёт эти ксеоны, хоть DP, хоть QP.

FirePro на базе GCN начали выходить. Первая карточка пока не для вычислений, а для видеостен. Она вас конечно же не интересует, но её выпуск является индикатором того, что другие FirePro на базе GCN вероятно долго ждать не придётся.

Да и эта видеокарточка интересная. Спасибо за апдейт.

а GPU уже могут в двойную точность?

Уже года три как.

Уже года три как.

и сильно производительность просаживается?

Господа, у кого-то есть уже собранная ферма GPU, хотя б 4 карточки. Есть собственно желание проверить работу своего ПО, после оптимизации. Или подскажите может есть облачные сервисы использующие именно GPU для обсчета.

Знаю для графики есть RenderMan от Pixar, которые мультики клепают, может есть что-то похожее более общего назначения?

Раньше да, теперь не знаю.

Могу потестить на ящике с 4-мя старенькими Теслами, например. Только там с*аный оффтопик, и не раньше понедельника.

тут кстати народ думает куда пару супердом пристроить чтобы сделать с суперкомпьютерами прошлого поколения?

Можешь попробовать получить доступ к МГУшным кластерам. У «Ломоносова» есть gpu очередь, ГрафИт тоже набит видюшками.

5000€

Приходит Чебурашка к Гене, и спрашивает: - Ген, а Ген, копейка - это много?

пока еще ничего не написано)) пробиваю возможности.

Обожаю язвительность некоторых участников форума)) По делу, сколько надо?

ну или можешь написать мне, жабер в профиле, я могу попробовать запустить. если с запуском ПО большого гемора не будет.

Спасибо за наводку. Я зимой закончил магистратуру, теперь уже фиг получу официальное письмо от кого-то на имя кого-то (

Спасибо, взял на заметку. Я пока пробиваю варианты.

почитал, реально talks ))

может уже и неактуально - но
цена разработки такого софта - на многие порядки выше этих самых 5т евриков

есть такой сервис - как амазон - и услуги как оренда мощностей на время
причем можно арендовать машины и с нвидиа ускорителями
и это выгляде ло бы так - у вас есть одна машина - на которой отрабатываете программу
а как нужен расчет - арендуете на несколько часов сотню серверов амазона и запускаете на них задачу

ну а если хотите свою рендер-ферму - то 5т евриков это примерно
по 500 на одну ноду - нода простая плата с 2мя pci-e + i7 + блок питания способный вывезти 2 видяхи

10 платформ будет - а потом - можете в нее добавлять видяхи - если софт умеет