Два кластера — какой лучше?

А расширябельность какая у них ?

PS: Мне больше нравится N1 ;) (меньше TPD, быстрее память)

Кстати 5 свитчей это зачем ? Чего там по портам IB ?

> А расширябельность какая у них ?

У обоих никакая, шкафы под завязку. У Делла формфактор -- минитауэр, 4 шкафа!

Плюс, кстати, сегодня выяснилось, у SGI шкафы подходят для водяного охлаждения.

> Кстати 5 свитчей это зачем ?

Уже ни за чем, один остался...

5 штук они предлагали для > 24 нод, там их почему-то только хитрая толстая топология устраивала. Они что-то говорили про "block-free transfer", но конкретно не распространялись.

>У обоих никакая, шкафы под завязку. 

Понятно.

>У Делла формфактор -- минитауэр, 4 шкафа!

Мини ? ;))

У меня был  один из первых кластеров из 4-х чифтековских бигтауэров с 2-х головыми оптеронами. По сравнению со стойкой есть несколько плюсов.

1) Шумели _значительно_ меньше (можно было регулировать обороты вентилей на процах)
2) При покупке нового кластера мы его просто слегка разукомплектовали
Получилось 2 толстых девелоперских десктопа + 1 девелоперский кластер на 2 ноды для экспериментов.
3) Гораздо более расширябельны по периферии чем 1U и разумеется чем блейд 

Кстати шкурный вопрос про цену (если не секрет). Можно на почту.

Интересно сравнить с нашими ценами.

Об "апликухе" можешь что-нибудь написать?

"Звезда", мастер читает с диска массивы данныех (целые числа), колет на куски и пересылает рабочим посредством MPI. Рабочие это дело опять-таки пишут на диск/читают обратно, перелопачивают в другие массивы (тоже целые числа) и посылают порциями обратно мастеру (опять MPI). Мастер все это сортирует (опять с помощью диска, поскольку никакой памяти не хватает), и цикл повторяется.

А как ноды связаны с дисками в том и другом кластере?

Одинаково -- 6 локальных дисков в ноде, страйпнутые RAID0 в один том. Все пишут скречи локально.

Сантехники предлагали три файлсервера (через еще один IB), даже дали один сервер поиграть -- хреново он работает, половину заявленной производительности не дает. То есть, на мелких файлах все ок, но нас интересуют ОЧЕНЬ большие, с "плоским" последовательным доступом, а на них что-там заедает.

Наша аппликуха очень хорошо бегала на распределенной файлухе под HP Lustra с динамической балансировкой, но оно было связано QsNET II.

ВСё понятно. Это та задача, что мы обсуждали в топике про Барсилону.

По моим представлениям, узкое место задачи - доступ к RAID массивам.

Если IO одиноков, то оба кластера идентичны для этой задачи.

:-)

Делловский кластер разогреет комнату в 2 раза сильнее, а мы почти на пределе:( Кроме того, там чипсет 5000X -- кто знает, как его спуп фильтр сработается с кышом Harpetron'а!

С др. стороны, на треть больше нодов...

:))) А не суть ... :)))

>Сантехники предлагали три файлсервера (через еще один IB), даже дали один сервер поиграть -- хреново он работает, половину заявленной производительности не дает. То есть, на мелких файлах все ок, но нас интересуют ОЧЕНЬ большие, с "плоским" последовательным доступом, а на них что-там заедает.

Большие файлы это как раз случай для PVFS2+MPI-ROMIO поверх кучи IB линков...

>Наша аппликуха очень хорошо бегала на распределенной файлухе под HP Lustra с динамической балансировкой, но оно было связано QsNET II.

Собственно люстра это подтверждает ...

Сдаётся мне, что Силиконы знают о чём говорят, а Деллу с Хулетами стоит оставмть тот сегмент, на коем они и до того кормились. Принтеры там всякие...

Интуиция старого еврея чего-то стоит? ;)

> Собственно люстра это подтверждает ...

Кстати, на новом "большом" сервере, связанном IB, ластра себя как-то не очень показала...

>Кстати, на новом "большом" сервере, связанном IB, ластра себя как-то не очень показала...

На скольких нодах она "размазана" ?

> На скольких нодах она "размазана" ?

Я ж тебе даже ссылку кидал!

750 нодов, каждая о 4 корках.

> 750 нодов, каждая о 4 корках.

В смысле, клиентов.

Серверная часть -- 8+2=10 двухголовых Оптеронов, 8 держат данные, 2 -- метаданные.

Вообще хреново работает, чем дальше, тем хуже! Буквально, в шареной директории говоришь "ls", и оно ждет с полминуты.

Но длинные файлы пишет шустро, сравнимо со старым вариантом (порядка десятков мегабайт/секунду на корку).

Все, решили в пользу SGI.

Оказалось, я сначала не понял их -- второй шкаф почти пустой. Заодно одну дверь с водяным охлаждением выклянчили, так что -- без вариантов просто.

>Серверная часть -- 8+2=10 двухголовых Оптеронов, 8 держат данные, 2 -- метаданные. Вообще хреново работает, чем дальше, тем хуже! Буквально, в шареной директории говоришь "ls", и оно ждет с полминуты.

ls это обращение к серверу метаданных. Но цифра в полминутны вообще говоря это нонсенс. Что-то в консерватории не так.

>Но длинные файлы пишет шустро

странно если бы было иначе.