LINUX.ORG.RU

Домашний Linux-кластер своими руками

 , ,


0

2

Одному любителю сделать что-нибудь в 3D надоело ждать окончания рендеринга своих сцен и он на шести процессорах Intel Quad-Core 2.4 Ghz собрал в своей квартире render-farm в виде 24-ядерного кластера с 48 Gb памяти. Интересной фишкой системы, названной Red Helmer, является изготовление единого корпуса из мебели IKEA, Helmer cabinet, которая оказалась неплохо совместима по размерам c ATX. По ссылке красочно и с иллюстрациями описан процесс создания системы. В качестве ОС используется Fedora 8. Результатом автор доволен. Немаловажно, что ему удалось добиться низкого энергопотребления, около 800 Вт, а сцена, считавшаяся на MacPro 2 x DualCore Xeon 2.66 Ghz с 4 Gb 552 минуты, теперь обсчитывается за 64 минуты. Средняя производительность системы около 186 GFlops, но есть планы построения в 64 раза более производительной системы.

>>> Подробности

anonymous

Проверено: Shaman007 ()
Ответ на: комментарий от Arceny

> У меня вот в домашнем почти 2 тб натыкано...

Потому что ты типичный нищебродский линуксоид. Кроме линукса и дешевезны ничего не видишь. Ни нормального заверенного железа, ни нормальных проприетарных ОС :) (ололололо).

anonymous
()
Ответ на: комментарий от maxcom

"Instances

Standard Instances

Instances of this family are well suited for most applications.

$0.10 - Small Instance (Default)
1.7 GB of memory, 1 EC2 Compute Unit (1 virtual core with 1 EC2 Compute Unit), 160 GB of instance storage, 32-bit platform


$0.40 - Large Instance
7.5 GB of memory, 4 EC2 Compute Units (2 virtual cores with 2 EC2 Compute Units each), 850 GB of instance storage, 64-bit platform

$0.80 - Extra Large Instance
15 GB of memory, 8 EC2 Compute Units (4 virtual cores with 2 EC2 Compute Units each), 1690 GB of instance storage, 64-bit platform

High-CPU Instances

Instances of this family have proportionally more CPU resources than memory (RAM) and are well suited for compute-intensive applications.

$0.20 - High-CPU Medium Instance
1.7 GB of memory, 5 EC2 Compute Units (2 virtual cores with 2.5 EC2 Compute Units each), 350 GB of instance storage, 32-bit platform

$0.80 - High-CPU Extra Large Instance
7 GB of memory, 20 EC2 Compute Units (8 virtual cores with 2.5 EC2 Compute Units each), 1690 GB of instance storage, 64-bit platform

Pricing is per instance-hour consumed for each instance type. Partial instance-hours consumed are billed as full hours.

EC2 Compute Unit (ECU) - One EC2 Compute Unit (ECU) provides the equivalent CPU capacity of a 1.0-1.2 GHz 2007 Opteron or 2007 Xeon processor. See Amazon EC2 Instance Types for details on available instance configurations and a complete description of an EC2 Compute Unit.

Data Transfer
Internet Data Transfer
$0.100 per GB - all data transfer in

$0.170 per GB - first 10 TB / month data transfer out
$0.130 per GB - next 40 TB / month data transfer out
$0.110 per GB - next 100 TB / month data transfer out
$0.100 per GB - data transfer out / month over 150 TB

Data transfer "in" and "out" refers to transfer into and out of Amazon EC2.

Data transferred between Amazon EC2 and Amazon S3-US or Amazon SimpleDB, is free of charge (i.e., $0.00 per GB), except data transferred between Amazon EC2 and Amazon S3-Europe, which will be charged at regular rates.

Amazon S3 usage is billed separately from Amazon EC2; charges for each service will be billed at the end of the month.

Availability Zone Data Transfer
$0.00 per GB - all data transferred between instances in the same Availability Zone using private IP addresses.

Regional Data Transfer
$0.01 per GB in/out - all data transferred between instances in different Availability Zones in the same region.

Public and Elastic IP Data Transfer
$0.01 per GB in/out - If you choose to communicate using your Public or Elastic IP address inside of the Amazon EC2 network, you'll pay Regional Data Transfer rates even if the instances are in the same Availability Zone. For data transfer within the same Availability Zone, you can easily avoid this charge (and get better network performance) by using your private IP whenever possible.


* Please note that Regional Data Transfer and Public and Elastic IP Data Transfer will be charged at $0.00 per GB through June 30, 2008. This is to allow current Amazon EC2 users to optimize the placement of instances before incurring any charges. See Availability Zones for tools to describe instance location."

http://www.amazon.com/gp/browse.html?node=201590011

если забыть про электричество, то он окупает свой кластер за пару месяцев по сравнению с amazon'ским сервисом.
$1728 = 30дней * 24часа * $0.80 * 3(требуется три амазонских штуки для эквивалентной мощи при условии одинаковости мощности цпу)

Электричество потреблённое этим чудом за месяц у нас обойдётся в
682.56р = 30дней * 24часа * 2.37р.кВт * 0.4кВт
или 478.08р если плита электрическаяа не газовая

http://www.mosenergosbyt.ru/consumers/tariff/

filin ★★
()

снимаю шляпу, молоток, правда бутиться надо было по сети, как правильно заметили, локальные диски ему под какую-нить кластерную ФС пригодятся

filin ★★
()
Ответ на: комментарий от anonymous

> Потому что ты типичный нищебродский линуксоид. Кроме линукса и дешевезны ничего не видишь. Ни нормального заверенного железа, ни нормальных проприетарных ОС :) (ололололо).

У меня нет потребности в резервировании и хранении Ынтерпрайз данных дома

Arceny ★★
()
Ответ на: комментарий от Arceny

> > Потому что ты типичный нищебродский линуксоид. Кроме линукса и дешевезны ничего не видишь. Ни нормального заверенного железа, ни нормальных проприетарных ОС :) (ололололо).

> У меня нет потребности в резервировании и хранении Ынтерпрайз данных дома

забей, чувак не в теме, он не знает, что гугл использует на своих кластерах (в сумме десятки тысяч цпу) дешёвые писюки с открытой ОС, и что автоматизированным резервированием на таком железе можно по надёжности спокойно переплюнуть "заверенное железо и нормальные проприетарные ОС" причём при намного меньшей стоимости

filin ★★
()
Ответ на: комментарий от anonymous

> и шум уменьшит

я бы не стал ставить такую штуку в жилом помещении даже при желании использовать её в качестве обогревателя, застеклённая утеплённая лоджия в квартире (летом обдувать вентилятором воздухом с улицы) или подвал (в своём доме) самое место :)

filin ★★
()

А что, кстати, полезная вещь своими руками.. ;-)

MiracleMan ★★★★★
()

он мамки намертво к полозьям прикрутил??? непрально, надо было предусмотреть выезжающие на салазках, отрубил сгоревшую мамку, выкатил, выкинул, воткнул новую, прицепил кабели, закатил, включил. В результате можно чинить без выключения кластера прямо на ходу, ещё можно купить двухпортовые мамки и прицепить два свитча, чтобы использовать линки для резервирования и удвоения полосы, а если собрать из мопеда или бензопилы дизель-генератор резервного питания, то было бы прям "Ынтырпрайз решение для бедных" :D

filin ★★
()
Ответ на: комментарий от filin

я все себя никак не заставлю 3 своих компа собрать в один самодельный текстолитовый корпус...

а чел реально крут!
на сабже нашего любимого форума собрал то, что ему нужно.

dk-
()

такие кластерочки собирают буквально в каждой третьей-четвертой научной лаборатории - мода такая. можно было бы и дома - но в лабе сеть (и которая 220 и которая в интернет) плюс охрана нахаляву, и шум не мешает. интересно что нашелся чудик который себе это дома поставил

Tester ★★★
()
Ответ на: комментарий от filin

Во-первых я пошутил, а во-вторых гугл у нас что мировой авторитет? На Linux свет клином не сошелся. Напомню что кластеризация появилась еще VMS.

filin on node...

anonymous
()
Ответ на: комментарий от Tester

а я вот тоже хочу :Р
хотя бы на 2-3 компа.
только незачем мне.
фотошоп не умеет так параллелиться... да и... мне под него коредуо хватает.

dk-
()
Ответ на: комментарий от anonymous

> Во-первых я пошутил,

отмазки пошли...

> а во-вторых гугл у нас что мировой авторитет?

в деле построения рапределённых приложений в области поиска несомненно

> На Linux свет клином не сошелся. Напомню что кластеризация появилась еще VMS.

не в тему спор, чуваку нужен был HPC, он его слепил, вам нужна HA? ну и пользуйте наздоровье предназначенные для этого вещи, при чём тут HPC?

...а потом ходят анонимусы и рассказывают всем что линух - Г, тк в нём нет вот этой нахрен не нужной лично им Ынтырпрайз фичи

> filin on node...

я тут роль местного пугала выполняю? очень польщён...

filin ★★
()

если бы он многоцелевой кластер (не требующий спец.софта) собрал и рассказал как настроить, цены бы ему небыло. есть же такие проекты...
а так... банальная ферма, гоняющая только маю. в любой 3д конторе есть. скучно.

anonymous
()
Ответ на: комментарий от anonymous

> я в этом не силен, поравте меня, если ошибаюсь, он вот на ВИкипедии данные приводятся Intel Core 2 Duo 2,4 ГГц (2006) — 1,3 Гфлопс

Чего-то слишком мало, одно ядро, если не ошибаюсь за такт делает 4 операции с плавающей точкой, следовательно, теоретическая пиковая производительность (4*2.4)*4*6=230 Гфлопс, а тут даже несколько меньше с учётом накладных расходов.

anonymous_incognito ★★★★★
()
Ответ на: комментарий от anonymous

> если бы он многоцелевой кластер (не требующий спец.софта) собрал и рассказал как настроить, цены бы ему небыло. есть же такие проекты...

да боже мой, он собрал многоцелевой HPC кластер, хоть и небольшой, доков "как настроить" по любому вопросу море, если в них ничего не понятно, то лучше и не браться, а поручить тому, кто сможет разобраться

> а так... банальная ферма, гоняющая только маю. в любой 3д конторе есть. скучно.

а можно поинтересоваться, для чего кроме HPC вы собираетесь использовать сотни гигафлопов?

filin ★★
()
Ответ на: комментарий от dk-

> хотел бы я зарабатывать столько, чтобы 6 квадрокорок с мамками, памятью, и БП обходились всеголишь в "еда на месяц" )

Это ж сколько нужно жрать...

anonymous
()
Ответ на: комментарий от filin

> отмазки пошли...

Это сразу было ясно, косвенно по намеку на проприетарщину, прямо по слову в скобках. Так что никаких отмазок. > в области поиска

Ну и ладно. Но расспаралеливанием у нас занимается все кому не лень. > при чём тут HPC?

Хааарошь! Все равно уныло вышло, вследствие однонаправленности решения.

> ..а потом ходят анонимусы и рассказывают всем что линух - Г

Ну это тут вообще оффтопик.

> я тут роль местного пугала выполняю? очень польщён...

И не говорите! Я сам порозовел.

anonymous
()

ООО, чувак собрал себе машинку что бы кеды четвертые гонять))) А серьезно, если нужен, то грех не собрать, да и стоит не так много это будет.

MaDMaN ★★
()

>Кстати материнки у него не очень. Видюхи не нужны. Тем более встроенные. Или быдлофедора не может работать без отображения чего нибудь на экран?

Сам быдло и не в теме. Покажи мне материнку , которую можно без проблем и недорого купить и чтоб запустилась без видео.

anonymous
()

>http://helmer.sfe.se/ фотки где котяра и кухонная плита - класс! чувак молодец!

anonymous
()

раз уж про флопсы вспомнили, я тут спросить хочу... А как эти Гигафлопсы собсна подсчитываются?

CuB ★★
()
Ответ на: комментарий от dk-

> хотел бы я зарабатывать столько, чтобы 6 квадрокорок с мамками, памятью, и БП обходились всеголишь в "еда на месяц" )

Просто заведи двойню и переезжай в Москву.

sv75 ★★★★★
()
Ответ на: комментарий от anonymous

> а во-вторых гугл у нас что мировой авторитет?

а разве нет?

anonymous
()

Ждём, когда он продаст свой дизайн в IKEA и китайцы начнут делать кластеры для сборки по бумажке.

anonymous
()
Ответ на: комментарий от filin

>$1728 = 30дней * 24часа * $0.80 * 3

Не совсем корректно. EC2 придумывался для задач -
а) включил, быстро что-нибудь посчитал, выключил
б) слешдот-эффект. "Если к вам пришли гости, а у вас ничего нет - пошлите человека в погреб"

Чувак пишет что раньше то что у него занимало ночь, теперь считается за 10 минут. Допустим, если пошла такая малина, теперь он будет считать более сложные сцены и они займут не 10 минут, а час. 30 * 0.80 * 3 = $72 + еще расходы на передачу данных. Вариант будто человек сам для себя считает что-то более-менее серьезное, причем 24 часа в сутки, как-то маловероятен, а?

volh ★★
()
Ответ на: комментарий от filin

> да боже мой, он собрал многоцелевой HPC кластер, хоть и небольшой, доков "как настроить" по любому вопросу море, если в них ничего не понятно, то лучше и не браться, а поручить тому, кто сможет разобраться

именно что "боже мой". херню он собрал. даже сетевую загрузку не осилил.
под многоцелевым я понимаю когда кластер работает как одна машина с общими ресурсами и может налету добавлять/удалять ноды. типа проектов OpenSSI, MOSIX. при этом все ресурсы доступны самому обычному софту.
да, свою задачу человек решил... но решение банально и скучно, т.к. при решении этой задачи подобным путем всегда и идут.
хотелось бы видеть что-то более интересное чем фермы и био{реакторы} с примерами из жизни... и четких доков по альтернативным реализациям я не видел. а для чего нужно - это уже дело десятое :)

anonymous
()

Интересно, сколько нужно eeePC, чтобы построить кластер аналогичной производительности?

iZEN ★★★★★
()
Ответ на: комментарий от filin

>прально, надо было предусмотреть выезжающие на салазках

По картинкам он вроде так и сделал.

r ★★★★★
()

Потрясающе! Нынче, вместо советских журналов "Юный Техник", "Конструктор" и т.д., приятно хоть такие материалы почитать.

Автор тру- "Кулибин", у него там и другие, не менее ошеломляющие, проекты имеются. Например, чего стОит один только этот РОБОТ: http://robot.sfe.se/ (:

В общем, всяческих успехов парню! Такие проекты рекламируют Linux в самых широких массах на качественно ином уровне и спасибо Google, что поддержали его начинание!

anonymous
()

На счет сетевой загрузки - правильно, что не сделал. К задаче это совсем не относится, а лишь усложняет задачу. То что не сделал унифицированный кластер, опять же плюс. Ибо нефиго порождать не нужные сущности, это как история про газонокосилку: -Зачем ты купил газонокосилку? -Что бы газон на даче косить. -Так у тебя дачи нет. -Через 10 лет будет. Вопрос: А за каким эта косилка будет 10 лет стоять? Т.е. товарищЪ сделал все очень мило и правильно. Для тех кто не в теме, что-то считать 3 дня, если вы делаете это постоянно, накладно и нудно получается. Поэтому, автора правда, хочется увидеть результат быстрее. Респект.

anonymous
()

Ой как я его понимаю.... ждать по 20 мин что б только глянуть как выглядит тот или иной материал... Ы дайте две таких ))

SilentLexx
()
Ответ на: комментарий от anonymous

> вместо советских журналов "Юный Техник", "Конструктор" и т.д., приятно хоть такие материалы почитать.

Он не разводите туман. "ЮТ" до сих пор продается-выписывается.

> не менее ошеломляющие

Что же тут такого? Робот ладно - может зачет, судя по фотографии. А этот проект "ошеломляющим" трудно назвать. Для того чтобы кластер построить из готового оборудования много ума и знаний не требуется. Вот если бы он дизайн самих плат разработал и сам их выпустил - то еще было бы интересно.

anonymous
()
Ответ на: комментарий от anonymous

> даже сетевую загрузку не осилил.

Зачем оно на 6 нодах то ? На 100 оно еще имело бы смысл а на таком количестве это IT-он@низм

>под многоцелевым я понимаю когда кластер работает как одна машина с общими ресурсами и может налету добавлять/удалять ноды. типа проектов OpenSSI, MOSIX.

Ты когда нибудь пробовал оторвать ноду на работающей рендерилке ? LOL ;)))

> при этом все ресурсы доступны самому обычному софту.

Какому такому "обычному" ? Обычному софту кластеры не нужны.

>да, свою задачу человек решил... но решение банально и скучно

Ох уж эти IT-шнеги - любители приключений на свою ж... ;)

hint: ендлузеру как раз и нужно чтобы система решала свою задачу "банально и скучно"

PS: По топику. Нормальное решение для рендерилки, хотя представляю как оно шумит дома %)

PPS: Где то на ЛОР была фотка аналогичного кластерка который green собирал несколько лет назад ;) ... не у кого ссылочки не завалялось ?

sS ★★★★★
()

Уважаю - парняга умница кроме шуток. Ему еще систему оверклокнуть. Квады до 3.6 гоняться. По той системе по которой он 186 гфлопов насчитал, запросто можно 250 перепрыгнуть. По крайней мере суровый парняга сделал, да и обзываться по честному можно собрав нечто лучшее. Это ж крео, штырит от самого процесса. Правда мне вот куда интереснее NAS дома собрать но Хельмера заценил. Результат достигнут, этап оптимизации - охлаждение, потребление, разгон, кабеля на полу - не все забыл. Надо ему ссылку на эту новость бросить, вот он сразу поймет, как сделать хелмера еще лучше, чтоб анонимусы впустую визжали и безосновательно крутили у виска.

via4e
()
Ответ на: комментарий от dk-

>хотел бы я зарабатывать столько, чтобы 6 квадрокорок с мамками, памятью, и БП обходились всеголишь в "еда на месяц" )

Не хотел бы я чтобы еда столько стоила :(

anonymous
()

пипец идиот: если у него есть деньги на такое количество памяти и процессоров, тогда зачем городить вот этот огород со шкафом?

anonymous
()

Этот Кулибин тоже русский физик? А почему тогда он выбрал фёдора, а не Slackware?

Я тоже хочу собрать свой домашний кластер

http://www.youtube.com/watch?v=gvzujm76478

Bioreactor ★★★★★
()
Ответ на: комментарий от dk-

>...можно собрать что-то "целое" "кластероподобное", и чтоб оно реально что-то считало?

Можно. Собирал, считало. RH7.2. Машины: от Пня-200, до ноута IBM TP600, ноут был уравляющей машиной.

anonymous
()
Ответ на: комментарий от anonymous

>Домашний Linux-кластер

>клиника...

Почему сразу клиника? У чудака контора в области 3D анимации, так написано на сайте.

anonymous
()
Ответ на: комментарий от anonymous

> пипец идиот: если у него есть деньги на такое количество памяти и процессоров, тогда зачем городить вот этот огород со шкафом?

Дадададад, ему надо было отдать деньги тебе, ты бы им нашел лучшее применение.

Подсчитай сколько все это стоило, у меня получается цифра в около 3500 баксов, его MacPro столько же стоил, если не дороже.

anonymous
()
Ответ на: комментарий от anonymous

> У чудака контора в области 3D анимации

Конторе лень купить refurbished-оборудование SGI на MIPS'ах? Или что?

anonymous
()
Ответ на: комментарий от anonymous

>херню он собрал. даже сетевую загрузку не осилил.

Ну дык университетов не оканчивал, к тому же чувак не из России, страны "...с традиционно высокой инженерной культурой..." (цы)

anonymous
()
Ответ на: комментарий от anonymous

>Конторе лень купить refurbished-оборудование SGI на MIPS'ах?

Глупый совсем, что ли? Не лень, а банально немае грошей ;-)

Или ты думаешь, что в европах все на золоте едят?

anonymous
()
Ответ на: комментарий от anonymous

> Глупый совсем, что ли?

Да этот мусор конторе не так уж и в дорого обойдется.

> банально немае грошей

Значит так хорошо рендерят ;)

anonymous
()
Ответ на: комментарий от anonymous

>не разводите туман. "ЮТ" до сих пор продается-выписывается

И что, качество то же? ;-) Не смешите мои тапочки - "ЮТ" если не RIP совсем, то уже одной ногой в могиле. (http://jtdigest.narod.ru/)

ЗЫ Зато нацпроекты)))

anonymous
()
Ответ на: комментарий от anonymous

>Значит так хорошо рендерят ;)

Значит, такое количество заказов ;-)

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.