Высокопроизводительный кластер из старых компьютеров

>"Эх, вот бы пришел Профессор и вправил тебе мозги"?

именно :)

И забыл... Согласен с EugenyN, приложения должны быть грамотно написаны...

>Дай какой-нибудь веб-сфере сказать "Hello, world!", она и на это потратит столько же тактов, сколько в каком-нибудь 1970-ом году тртилось на расчёт полёта космической ракеты. У меня как у ASM-програмиста подобные вещи ничего, кроме отвращения, не вызывают...

Ага)) Токо хотел бы на вас посмотреть если бы вы писали на своём асемблере любой более мение стоящий проэкт. Сколько бы вы времени потратили и дописали бы вообще)

>Возможно Вы серьезно больны.

А у вас что за черные язвы на месте сисек? :)

> Кластера всегда будут кластерами, если нужна отказоустойчивость, доступность и...

Это точно к моему посту?.. Наверное к одному из тех, которые выше... я прокомментировал про асм...

>и я буду круче чем сосед со своим 2 ядерным ноутбуком!!!! вот я его натяну!

Ты его еще глубже растянешь, если и розетку для кластера к соседу подключешь :)

>Это точно к моему посту?.. Наверное к одному из тех, которые выше... я прокомментировал про асм...

Это не к твоему посту, просто не туда нажал :)

А так, для всех кому интересно, сходил по ссылке прочитал, пошёл на офф. сайт и там почитал; в общем ребята хороший проект сделали, и я так понял, что проект больше рассчитан на какие-то серьёзные вычисления, так, что зря автор статьи про старые компьютеры написал, в данном случае больше бы подошло "зачем вам супер пупер сервер от IBM за кхы...кха...цать милионов килобаксов". Какие кишки используются пока не нашёл... Документация вроде норма... PS Меня там лично больше xen интересует...

Я вот никак не могу понять что есть "кластер" описанный в статье и как его можно использовать? Скажем можно ли на нем запустить PostgreSQL и получить прирост производительностьи, за счет того что каждое соединение обрабатывается отдельным узлом кластера?

> Это не к твоему посту, просто не туда нажал :)

Камень с души... я все утро ходил, волновался... :)

(Шучу!)

Во дела!

Люди занимаются уйнёй и еще не умерли от голода... А еще говорят -- кризис... :)

> Пришла пора запустить первый вычислительный узел. После очистки диска, в большинстве случаев система будет производить PXE-загрузку из сети.

Пля, с этого надо было начинать.

Вполне хорошая идея, чтобы допустим во внерабочее время перегружать машинки в конторе/универе и заводить на них кластер, правда вот, что считать, не совсем понятно.

> Боюсь серверные двухканальные сетевухи будут стоить дороже этого хлама, а на обычных делать смысла нет -- пересылки всё сожрут.

+1

А статья интересная.

> А у вас что за черные язвы на месте сисек? :)

Страшная болезнь — цензура.

>...в тех же универах для обучения. У нас было такое дело что пришел новый класс, старый так тоже вполне себе ничего был. Там оптероны 4-процовые стояли.

В универах уже компьютерные классы на 4-х головых оптеронах списывают??? Можно я к вам работать пойду?

>Шаг 1. Аппаратное обеспечение
>~~~~~~~~~~
>бла бла
>~~~~~~~~~~
>Найдите место, где расположить свои 32 машины

Все остальное за малым

> Часто прирост может дать - сравнительно небольшое увеличение ОЗУ (для того же Оракла), например.

Для того же Оракла часто проблема не в памяти, а в самом коде и недостаточно изученных возможностях базы данных.

Забыл программист переменную привязки - получил разбор SQL запроса при каждом выполнении, а следовательно блокировку в SGA. Поставил переменную привязки там где она не нужна - в итоге оптимизатор сгенерировал неоптимальный план.

Так же и с флеймом C/Java. Чисто теоретически C быстрее, но на написание и отладку Java бизнес-приложения уйдет меньше ресурсов, а работать будет одинаково хорошо. Это правило статистическое, есть и исключения.

> Если у вас есть 32 старых однопроцессорных компьютера...

ужас какой!

Года три назад увлекся я ненадолго ClusterKnoppix (на openMosix). Уже было видно, что проект умирает. Компьютеров у меня правда только 2 было. А проблема с ним была, что мигрировать с ПК на ПК могли только процессы целиком. Т.е. об ускорении одного процесса речь не шла.

Просмотрел статью. То ли не заметил, то ли там об этом ничего не сказано - так может этот Rocks переносить потоки одного процесса на разные ПК или нет?

Ну, и у старых компьютеров для целей кластеризации слабый ЦПУ, на мой взгляд, не такая большая проблема, как характерная для этих ПК 100 Мбит сеть.

> Просмотрел статью. То ли не заметил, то ли там об этом ничего не сказано - так может этот Rocks переносить потоки одного процесса на разные ПК или нет?

Потоки в рамках одного процесса характеризуются тем, что у них общая память. Ее по сети пересылать? Думаю что решение с разделением процессов выглядит более приемлемым.

ух ты. у меня как раз завалялось 16 пеньтиум 3 по 450 мегахерц + материнки + сетевухи + по 384мб памяти на брата =) Собрать чтоль на досуге мусорного монстра %-)

почему никто не вспомнил про SheevaPlug?
32 арм-басед шивы (каждая из которых аналогична 1Ghz AMD), размещённые на повербаре под столом, будут отжирать порядка 160 ватт, что меньше одного PC, и стоить сопоставимо с одним 4-процессорным компом).
Гигабитовые сетевухи и пол-гига 512М позволят запускать достаточно изолированные друг от друга и умеренные по потреблению ресурсов задачи (пренебрегая законом Амдала - 32Ghz в сумме).
Тут - будет как-раз выигрыш в долговременной эксплуатации - за счёт электричества.
А веб-фарм как раз очень хорошо распаралелится. Или какой-нибудь процессинг, скажем - имедж-меджик таски, генерация отчётов итд итп (где нужно больше процессора и меньше - пересылок).
В том случае топик может быть интересен - для упрощения конфигурации.

>чОрт, у меня есть только всего один старый комп. Я смогу сделать из него кластер, который обделает все 10-ядерные ксеноны?..

Конечно, ведь производительность всех 10-ядерных ксенонов равна нулю.

>> > Часто прирост может дать - сравнительно небольшое увеличение ОЗУ (для того же Оракла), например.

> Для того же Оракла часто проблема не в памяти, а в самом коде и недостаточно изученных возможностях базы данных.

В том же посте, мои слова:

>> Программный код, состоящий из сотен модулей-подсистем - может быть неэффективен из-за недостаточной квалификации программиста

И только потом написано, что память для Оракл часто решит больше, чем ассемблерный код.

И что делать на этом кластере? :) Просто создать абы было? Что под него заточено?

берешь MPI, рашпиль и затачиваешь

>любой более мение стоящий проэкт
Стоящий чего? Всё ПО так или иначе будет набором машинных команд и собственно фундаментальная информатика начинается и заканчивается ассемблером. А этот ваш стоящий проект в стране, которая не умеет даже ложку сделать, можете, как говорится, запихать... Для меня стоящий проект - это комплекс программных средств для управления автоматизированными производствами, то же ПО для микроконтроллеров в промышленности. России, легко купившейся на дебильный американский лозунг "бери от жизни всё" к сожалению, такие стоящие проекты уже не грозят.
Да, и почитайте на досуге книги Кнута - много вы там листингов быдлонедокода на псевдоязыке жаб видели?

За электричество кто платить будет?!

32 компа... по 200 ватт... Это 6.4 киловатта...

У нас в старых домах проводка только на 4 киловатта рассчитана.

А теперь ответь мне на вопрос, умник ты эдакий. Заказчик хочет страховое ПО под WebСферу и некроSQL. Слабо? Та даже если и нет (ну допустим, гипотетически), твой старческий моразм наступит куда раньше, чем ты доделаешь проект.

Люди хотят просто ПО, которое решает из задачи. Если кто-то формулирует задачу как "мне под ВебСферу", никто не плюнет вам в физиономию, если вы переспросите про шашечки или ехать. Ведь исходя из вашей логики можно прийти к тому, что Linux и вообще все операционные системы, кроме Windows, не нужны. Почему? Да элементарно - зачем нам альтернативные пути развития, если есть проверенный надёжный способ писать ПО под Windows в среде Visual Studio, опираясь на движок Internet Explorer.
Нет, дорогой товарищ, вы врёте и сознательно переворачиваете картину бытия с ног на голову: это не заказчик требует ПО под ВебСферу, это вы, разработчики, сами навязываете свои условия и заказчик просто вынужден ставить монструозные Java-AppServer'а, которые гробят планету, заставляя человечество сжигать ещё больше природного топлива. Вы думаете у заказчика есть выбор? Да ведь все идут по пути наименьшего сопротивления, это же очевидно!

Да, и кто этот заказчик? Опять же, очередная контора, которая делает деньги из воздуха и тем самым каждый день прилагает массу усилий для того, чтобы наша страна уже никогда не выбралась из пропасти экономической зависимости?
Дело в том, что завод или агроконцерн вряд ли будут заказывать в основном ПО под ВебСферы иже с ними. Всё больше софт для управления производственными процессами, расчётами, специалихированное ПО из предметной области.
Просто каждый выбирает свой род деятельности и свой жизненный путь, не факт, что вообще писать ПО на Java для компаний, которые вредят вашей Родине - это лучший выбор.

Скажу тебе по секрету, что зачастую буржуйские заказчики навязывают использовать не только конкретный аппСервер, но и конкретные фреймворки.

> не факт, что вообще писать ПО на Java для компаний, которые вредят вашей Родине - это лучший выбор

еще один пустивший слюну, узнав об уровне зп жавистов, детектед. К работе отношусь как к работе. Ничто ведь не мешает писать "правильное ПО для Родины" дома на досуге.

> Опять же, очередная контора, которая делает деньги из воздуха

Контора платит бешеные деньги за наше ПО. По большому счету, больше от нее ничего не требуется.

> Дело в том, что завод или агроконцерн вряд ли будут заказывать в основном ПО под ВебСферы иже с ними

Не знаю, как у Вас, у нас в беларуси все заводы и агроконцерны - гос. предприятия. Гос. предприятия в нашей стране никогда никому не платят, особенно коммерческим конторам. Закажет какой-нибудь завод какое-нибудь ПО, хорошо, если выплачивать через год начнет. А самая стандартная ситуация - подашь на такой завод в суд, так суд постановит, что никто никому не должен, гос. все-таки. Таких случаев в нашей стране сотни, если не тысячи. Резюмируя, хочу сказать, что занимаюсь тем, чем мне интересно+востребовано+хорошо платят. Если родина не в состоянии заплатить за труд - no comments

Дело в том, что в Беларуси есть промышленность и сельское хозяйство и худо-бедно, но они даже не на одну только показуху работают, у нас же нет ни того, ни другого даже в показушном варианте нет, и большая часть населения так или иначе работает холопами у тех господ, которые делают деньги если не из воздуха, то из невозобновляемых природных ресурсов планеты. То есть сегодня они зарабатывают на нефти, завтра - на бедности, послезавтра - на болезнях, а вскоре и на смертности. На всём можно делать деньги, что доказывает фирма Ритуал, но насколько это достойный путь?

По большому счету, зарабатывать программированием - тоже делать деньги из воздуха.