Какие задачи у кластера? Хочется просто понять, нужны ли вообще эти редхатовские luci/ricci.

Задачи - параллельные вычисления(HPC). Сам я не понимаю разницы между luci/ricci для кластеров высокой доступности и кластеров для HPC. Пока что, кроме головной боли, никакого толка от этих luci/ricci нет. Вроде как «подключил» ноды, но теперь пишет, что «Unable to contact any of the nodes in this cluster» - непонятно почему. Все 3 виртуалки пингуются друг с другом, да и в etc/hosts я прописал все ip-шники и hostnames.

Help meeeeee!!!!!

Господа товарищи!!! Подскажите, пожалуйста, как мне создать узлы в кластере(будь он прОклят!) Есть мануалы, есть даже русскоязычный мануал, но там все гладко-сладко. На самом же деле на каждом этапе установки этих кластеров возникает куча нигде не описанных подводных камней. И вот я дошел до создания узлов(нодов) и дальше продвинуться НИКАК не могу....

>>«Unable to contact any of the nodes in this cluster»

а под cluster interconnect интерфейсы выделены?

А зачем это всё нужно? какую роль это выполняет в кластере?

>а под cluster interconnect интерфейсы выделены?

Я не знаю, что такое cluster interconnect. Как можно проверить, выделены ли эти интерфейсы и как их выделить?

А зачем это всё нужно? какую роль это выполняет в кластере?

Долгая(и занудная) эта история... Вообще-то нужно Red Hat HPC Solution, я так понял, что HPC входит в 64-битную версию Red Hat Enterprice(надо только заинсталить ocs и osc-kit-lava). Но все это надо как-то проверить, а комп у меня на работе один. Выход тоже один - через виртуалки, но мой проц не поддерживает аппаратную виртуализацию, т.е. 64-битные гости не установятся. Вот и начал копаться с 32 битами из-за этого вожусь с luci/ricci. Хотя, может быть, кластеры luci/ricci для HPC вообще не подходят :(

>надо только заинсталить ocs и osc-kit-lava

Еще хочу заметить, что в природе(в нете) нет пакетов ocs и osc-kit-lava. То ли они платные, то ли я чего-то не понимаю....

Я не знаю, что такое cluster interconnect.

понятно, чукча не читатель, чукча пейсатель.
рекомендую, всё-же, ознакомиться с теоретической частью предмета, перед тем, как собирать решения при помощи копипасты. например.

а комп у меня на работе один. Выход тоже один - через виртуалки

сколько сетевых интерфейсов на ноду выделено и в каком режиме сеть в виртульных машинах?

>сколько сетевых интерфейсов на ноду выделено

1

и в каком режиме сеть в виртульных машинах?

Host-only

ну с одним точно далеко не уедешь, ни с hpc, ни с ha.

в итоге, кластер-то какой надо?

>в итоге, кластер-то какой надо?

Надо High Performance Computing(HPC). Опять вожусь с ред хатом, теперь застрял на команде «yum install ocs» - естественно, такого пакета нет. Как заставить его(yum) качать что надо из нета? Обновление тоже не настраивается - затыкается на стадии «Доступ к подписке» когда я ввожу код установки пишет «Вы предоставили верный код установки но он уже активирован Используйте другой код». Как заставить yum качать с нета?

Итого как я понял - redhat hpc это платное гав... вообщем - оно платное. Что вы можете посоветовать для распределенных вычислений, чтоб было бесплатное и не такое кошмарное как redhat-hpc?

Для распределённых: Condor, но это High Throughput Computing :)

sun grid engine, тыц.

А для High Performance Computing, начинать с выбора всяких mpi, особенно для такого количества узлов :)

Ну и согласно твоей аватарки: Windows Server HPC 2008 R2

>Ну и согласно твоей аватарки: Windows Server HPC 2008 R2

У меня начальник линуксоид - умрет, но на Windows не перейдет из религиозных убеждений. Может зарубить его, как в аватарке :) А что скажете про Rocks Clusters?

Какие задачи у кластера?

Ответь в начале на этот вопрос, потом почитай теорию и только потом начинай думать какие инструменты нужны.

«Кластерные технологии» бывают уж слишком разные. НЕЛЬЗЯ вначале выбирать инструменты, это БЕСПОЛЕЗНО.

>>У меня начальник линуксоид

мне вот интересно - у начальника линуксоида нельзя спросить? или такой начальник, что не знает про кластеры, но задания раздает?
или кто-то назвался груздем, но силы, увы, не равны?...

>у начальника линуксоида нельзя спросить?...или кто-то назвался груздем, но силы, увы, не равны?...

У начальника «нет времени с этим разбираться». Я же не назывался ни груздем, ни клизмой, но лезть в ж..., в смысле - в линукс, мне все-равно прийдется. Сам я 15 лет занимался системным программированием(драйвера, защита/взлом etc) под win. С линуксом дела не имел ВООБЩЕ. А тут взяли(пол мес. назад) на новую работу и сказали учить линукс и питон.

Если ты новичок и в кластеростроении, и в Linux, тебе нужно сначала почитать какие-нибудь мурзилки для начинающих и понять, какие инструменты нужны. Подозреваю, что тот же MPI вполне будет работать и без luci.

Fedora 12

В чём смысл использования такого старья?

>MPI вполне будет работать и без luci

С luci/ricci уже разобрался - они для HA, а мне надо HPC.

В чём смысл использования такого старья?

Начальник посоветовал. Я ему сказал, что на моем core2duo e4400 нет VM и я не могу поставить на vmware 64-битный redhat enterprice. Тогда начальник сказал мне ставить на vmware 32-битную федору а на нее ставить luci/ricci (начальник думал, что luci/ricci можно юзать для HPC). Вообщем, пока я бросил федору...бестолково все как-то получается...

Сейчас скачал образ Rocks Clusters(32bit) и не могу его поставить на vmware - в самом начале установки он хочет залезть в сеть за какими-то файлами, не может это сделать и отказывается устанавливаться. Вообще бред какой то - не видит dvd, с которого он сам же и устанавливается, не видит сеть(при любых настройках vmware). Неужели «гении», писавшие Rocks Clusters(centos), не могли предусмотреть в установке простое указание пути к файлам(как в win). Почему они ничего не могут сделать без сети???? У меня есть пошаговое русскоязычное руководство по установке Rocks Clusters, но там, естественно, ничего подобного не описывается, там все прекрасно само-сабой устанавливается(сказочки вообщем).

зы 1) легче зарубить начальника, чем установить линукс. 2) может быть, когда будет время, напишу книгу под названием «Знакомство с Linux или как я полюбил Windows»

Тогда начальник сказал мне ставить на vmware 32-битную федору а на нее ставить luci/ricci (начальник думал, что luci/ricci можно юзать для HPC).

Ну и поставь свежую версию. Старую то зачем ставить?

>> MPI вполне будет работать и без luci

С luci/ricci уже разобрался - они для HA, а мне надо HPC.

Ты понял, что тебе не надо. Теперь пойми, что надо.

Сейчас скачал образ Rocks Clusters(32bit)

Заметно вендузятнега по полету. Время, что ты занимаешься скачиванием и установкой ненужного хлама, лучше потратить на понимание _задачи_ (HPC - это не задача).

RE: HPC - это не задача

Золотые слова, но человеку «Сам я 15 лет занимался системным программированием(драйвера, защита/взлом etc) под win.» видимо сложно объяснить, ему либо по привычке ставить Win HPC SRV, либо учить мат.часть. Но ни того, ни другого он не хочет.

этой собаке(rocks clusters) мало было 256Mb RAM и из-за этого(!!!) он полез в нет! сделал 512Mb - стало нормально устанавливаться. Я восхищяюсь линуксоидной логикой - сумасшедший прилетел в штаты, его спрашивают «цель вашего приезда», он отвечает «дома дверь не могу открыть, а на замке написано Made in USA, вот я к вам и прилетел»

>>А тут взяли(пол мес. назад) на новую работу и сказали учить линукс и питон.

стесняюсь спросить, это как? начальник линуксоид крестовые походы устраивает - пришли на старую работу с автоматами и забрали самых лучших вин-программистов, сказав: «избавим мир от неверных, и да пойдут они в рабство к нам, линакс учить и пистоном погонять» Ж)
причём линакс учить исключительно путём установки кластера.

на собеседовании об этом не говорили что-ли, в договоре обязанности прописаны?

>стесняюсь спросить, это как?

Новая работа в связи с переездом в РФ. У вас здесь win-программисты(и вообще - низкоуровневое системное программирование) не нужны - либо 1С и всякая фигня вроде работы с базами данных, либо линукс+питон. Взяли с тем, чтоб я по ходу выучился и работал.

...и еще - не подскажете виндузятнику:) как можно юзать ноды rocks clasters без пароля? Каждый раз, когда я пытаюсь что-то на них выполнить, мне всегда надо вводить пароль каждой ноды. Можно ли без этого?

>>У вас здесьwin-программисты(и вообще - низкоуровневое системное программирование) не нужны

допустим не у нас, а, теперь уже, у вас Ж)
а где востребованы, кстати?
похоже нигде, после 15 лет занятия одним делом, эксперт, можно сказать и тут опять с нуля )

как можно юзать ноды rocks clasters без пароля?

настроить ssh на использование ключей? или как юзать?

>а где востребованы, кстати?
в штатах, например

настроить ssh на использование ключей? или как юзать?

Раньше открытие консоли сопровождалось сообщением о генерации ключа ssh и вопросом - куда этот ключ сохранить(в какой файл), я всегда нажимал Enter(не указывал имя файла) и через некоторое время запрос перестал выводиться.
Но есть другая проблема и она есть не только у меня, цитирую ссылку
https://wiki.rocksclusters.org/wiki/index.php/FAQ
------------------------------
Q: Why do I always get a password prompt when launching a job or logging into the compute node?

A: This is because rocks currently doesn't yet add the user's public key as an authorized key on each compute node automatically, or it may be a problem with the mounting of the /export/home file system on the compute nodes. Below is quoted from a post by G. Bruno:
as a normal user try:
$ ssh-agent $SHELL
$ ssh-add
$ cluster-fork hostname

if you are still asked for a password, then as root try:
# make -C /var/411 force
# cluster-fork 'service autofs reload'

then, as a normal user try:
$ ssh-agent $SHELL
$ ssh-add
$ cluster-fork hostname

if that still asks for a password, as root try:
# cluster-fork '411get --all'
# cluster-fork 'service autofs reload'

then, as a normal user try:
$ ssh-agent $SHELL
$ ssh-add
$ cluster-fork hostname
-------------------------------------------------------

перепробовал сии советы - не помогают

then, as a normal user try

В rocks clusters почему-то нельзя создать «normal user» - при попытке входа под созданным обычным юзером выводится ошибка, что нет папки «home/обычный юзер», а если из консоли делать, напр.:
su newuser
то выводится непонятное «bash-3.2$», даже пароль newuser'а не спрашивает.
Так что на frontend заходить можно только под рутом.

>>в штатах, например

что же тогда заставило?

про rocks ничем помочь немогу. в глаза не видел.

>что же тогда заставило?

выгнали за шпионаж в пользу РФ

про rocks ничем помочь немогу. в глаза не видел.

теперь еще наверное выгонят с работы

>>выгнали за шпионаж в пользу РФ

О_о сурово, однако

теперь еще наверное выгонят с работы

я же писал про grid engine, когда последний раз устанавливал клиенту, пару лет назад, все с пол-пинка заработало. попробуйте.