Настройка университетского кластера

только инфрастуктура не поднимет упавший/зависший внутри виртуальной машины сервис

сервис - нет, но машину перезапустить вполне себе сможет, а бут тайм виртуалок очень небольшой.

только для некритичных к Avaliability

ну, что значит «некритичных»? почтовик например, отхвативший даунтайм в минуту или почтовик делающий фейловер за, скажем, 30 секунд - это серьезная разница? из моего опыта - не очень.

если сервис критичный, то надо его проектировать так чтоб не было SPOF, и одна упавшая/перезапустившаяся ВМ не приведет к тотальному даунтайму в любом случае. это конечно не всегда возможно, но обычно не является проблемой.

сервис - нет, но машину перезапустить вполне себе сможет, а бут тайм виртуалок очень небольшой.

для этого нужно ещё мониторинг кишков каждой виртуалки делать, что вообще-то для кластера виртуалок не является прямой задачей.

ну, что значит «некритичных»? почтовик например, отхвативший даунтайм в минуту или почтовик делающий фейловер за, скажем, 30 секунд - это серьезная разница?

почтовику как раз фейловер вообще не нужен.

если сервис критичный, то надо его проектировать так чтоб не было SPOF, и одна упавшая/перезапустившаяся ВМ не приведет к тотальному даунтайму в любом случае.

именно поэтому перезапуск виртуалок в кластере к HA отношение имеет весьма косвенное.

для этого нужно ещё мониторинг кишков каждой виртуалки делать, что вообще-то для кластера виртуалок не является прямой задачей.

это зависит от уровня «продвинутости» виртуального софта. у вмвари есть вообще такая концепциа как v-app, что в принципе обозначает набор виртуалок которые должны подниматься в определенном порядке и зачастую на определенных хостах, потому что работают в связке.

именно поэтому перезапуск виртуалок в кластере к HA отношение имеет весьма косвенное.

а можно подробнее? а то я всегда считал иначе

у вмвари есть вообще такая концепциа как v-app, что в принципе обозначает набор виртуалок которые должны подниматься в определенном порядке и зачастую на определенных хостах, потому что работают в связке.

это не имеет отношения к мониторингу корректности работы сервиса. и да, такая «концепция» есть в любом энтерпрайзном софте с поддержкой кластеризации (любой кластеризации, а не только виртуалок).

а можно подробнее? а то я всегда считал иначе

только что же обсудили - запуск в виртуалке и автоматическая миграция конечно дает лучшие показатели Avaliability, чем запуск на простом сервере, но это все равно мало, чтобы называться HA.

это не имеет отношения к мониторингу корректности работы сервиса. и да, такая «концепция» есть в любом энтерпрайзном софте с поддержкой кластеризации (любой кластеризации, а не только виртуалок).

вочдог можно повесить на что угодно, и триггер перезапускающий виртуалку через API туда же прицепить - дело на полчаса скриптования.

Все что я пытаюсь сказать - у нас уже есть система, которая обеспечивает перезапуск сервиса или стека сервисов на гарантированно рабочей ноде, обеспечивает (на самом деле не важно как, методов много) SBA, и уже умеет мониторить если не все, то как минимум часть (а дальше всегда можно допилить то т.з.) показателей того что защищаемый процесс жив, плюс возможность избегать даунтайма при помощи живой миграции и maintenance mode. При таком раскладе, городить дополнительно кластерные механизмы зачастую абсолютно ни к чему, разве что ради лишней девятки в статистике, которая далеко не всегда на самом деле нужна.

Предварительно, скорее всего буду использоваться CentOS+kvm+libvirt, остальные оси включая винду раскидаю на гостевые.

У тебя полчаса нет, чтобы сделать тестовые тачки с разными осями? Квм и либвирт и так будут везде.

У меня пока ничего нет. Завтра все смотреть буду. Все может в корне измениться.

А у libvirt вебморда из коробки есть?

Нашел это, или же оно отдельно идет?

И еще вопрос, что такое пул из нод?

Отдельно идет. Выше уже говорили про вебморды, самые популярные - проксмокс и овирт.

нет там вебморды. а то что ты нашел предполагает то, что ты отдашь неизвестно кому из Украины доступ к своим серверам. Я бы такое делать не стал. вебморда, как уже говорили, есть у oVirt и proxmox. На центосе - только овирт

Ну судя по скринам, вполне годно.

тогда вперед, помощь с установкой и настройками в users@ovirt.org

А такой еще вопрос.

Так как у меня кластер (5 нод), то, как мне рассказывали, чтобы объединить в одно целое (в Windows), нужно установить на каждый нод ОС, а потом посредством специальной программы, (точно не помню, вроде HPC Manager) объединить все это в одно.

Как будет выглядить это объединение для linux? Тоже нужно будет на каждый нод ставить ОС и использовать левую софтину?

cast dvrts ↑

И kvm везде надо будет устанавливать? И если в виртуалке будет винда, то будет ли openMPI работать как нужно из-под виртуалки?

Я бы просто гуглил OpenStack или что-то подобное если ты хочешь именно подобное решение.

Но мне кажется, ты излишне заморачиваешься - под твои задачи с головой хватит CentOS + ovirt.

KVM не нужно устанавливать, он с версии ядра 2.6 идет в стандартной его поставке. Устанавливать нужно будет утилиты управления.

Я тебе очень рекомендую ознакомиться вот с этой статьей - очень многие вещи в голове прояснятся и будешь более осмысленно смотреть на реализацию своей задачи.

Ну да, я имел ввиду утилиты управления.

Все-таки чую, что в итоге будет так, на хост накатится винда со своими всякими менеджерами кластера и мне будет маленький кусочек винды в виртуалбоксе.

Читал, интересовался, более того, консультировался с человеком которую эту статью писал. Первое что он у меня спросил, это характеристики серверов, коих я не знаю до сих пор.

Все-таки чую, что в итоге будет так, на хост накатится винда со своими всякими менеджерами кластера и мне будет маленький кусочек винды в виртуалбоксе.

Ээээ

Но зачем?

Вот именно что незачем. Там ведь не только от меня зависит. Завтра постараемся что-то нашаманить.

Так как у меня кластер (5 нод), то, как мне рассказывали, чтобы объединить в одно целое (в Windows), нужно установить на каждый нод ОС, а потом посредством специальной программы, (точно не помню, вроде HPC Manager) объединить все это в одно.

HPC это не просто кластер, это набор софта который распределяет задачи по нодам, собирает результаты и их форматирует. Если я все понимаю верно, ты сначала хочешь создать кластер виртуализации, а в нем уже крутить виртуальные HPC ноды под виндами и линуксами.

если все верно, то надо поднять ovirt, поставив на все хосты centos minimal, и подключив все в engine.

Сторедж, кстати, какой будет использоваться?

Хех. Сегодня выяснилось, что диски куда-то утащили, будут искать. Два диска в рейд0 примерно террабайт, печально это всё.

рейд 0? за такое в нормальных кругах бьют канделябром

Знаю-знаю. Так и живем.

Две ноды на вантузе должны обгонять пять нод где вантуз работает в виртуалке.

Есть гетерогенные проги для кластеров, но их тоже использовать не рекомендую.

Лучше всё попроще и найтивно. Линуксовые на линуксе, виндовые на винде и без виртуализаций и эмуляций.

Кластер единого системного образа из коробки в Лиуксе есть?

То есть вы думаете 2 нода использовать например для windows server, 2 нода для linux (в них исследовать виртуализацию) и один нод например для бекапов?

Я считаю, что если такое возможно, то это идеальный вариант.

По сути получается винда будет управляться только виндой, линукс линуксом, все это юудет одновременно работать и всем будет хорошо. Я не буду мешать винде, винда не будет мешать линуксу, а на линуксе я уже буду исследовать виртуализацию, никоим образом не влияя на винду.

Можно три линукса в кластер, с кластерной фс, так будет HA-кластер и при выходе любой ноды он будет работать дальше.

А бекап можно сделать и на какую то рабочую станцию с дополнительным винтом.

Очень интересными есть SSI кластера, особенно если проги собраны с поддержкой SMP:

https://ru.wikipedia.org/wiki/OpenMosix

http://kerrighed.org/wiki/index.php/Main_Page

https://en.wikipedia.org/wiki/OpenSSI

Жаль в Линуксе их забросили и перекочевали в стрикозу.

HA-кластеры для резервирования «бекапа» тоже интересны если есть сервисы, например хотябы samba шара для пользователей винды..

Если две ноды то DRDB иесли больше то GFS, OCFS.

Среди HPC интересны MPI но там надо писать специализированные MPI проги...

кластерной фс

Например?

То есть из трех линуксов сделать HA, а из двух винд HPC?

openmosix закрыт с 2008 года.

В openssi и Kerrighed последнее обновление в 2010.

И что за стрекоза?

Судя по софту, поднять на линуксе HA не получится.

И что за стрекоза?

Понял, DragonflyBSD.

То есть из трех линуксов сделать HA, а из двух винд HPC?

Виды кластер линукса и винды могут быть одинаковы.

openmosix закрыт с 2008 года.

В openssi и Kerrighed последнее обновление в 2010.

Да SSI кластер в линуксе сделать было очень сложно в 2.4, сверх тяжело в 2.6, а в 3 уже за это никто не берётся. Слишком замусореное корпорациями ядро, вот ынтел всё и испортил.

Судя по софту, поднять на линуксе HA не получится.

HA кластер на линуксе очень хорошо работает:

corosync pacemaker (drbd + файлова система)

Понял, DragonflyBSD.

Да, там и SSI и HA с хамером и «самая правильная» виртуализация с «самым правильным» асинхронным параллелизмом!

SSI-кластер для школ и универов представляет самый большой интерес!

Показываешь детям: вот один комп, его проц память, процессы, запускаем прогу архивации процесс занимает процессор и память выполняется длительное время. Вот второй комп... А вот мы создали кластер и видим что наши вычислительные ресурсы состоят с общего количества процов и памяти! Запускаем создание того же архива с помощью pbzip2 -p <количество процов> и видим что процессы мигрируют на другие узлы, выполняются там и время архивации сократилось!!!

Вот другие виды кластеров для обучения подходят мало, ну HA ну да шаманство, дёрнули комп с розетки, а какойто сервис работает. MPI вообще, проги надо самому писать, кучу слабо совместимых версий.

Показываешь детям:

Что-то типо такого мы должны показать декану.

Насчет HA изначально ничего не планировалось, да оно и не нужно, собственно.

Тогда пусть пока в теории будет 2 WS2012 HPC + 2 CentOS HPC. А один куда-нибудь присобачим (или же в линуксах будем три использовать).

Вот нашел похоже объяснено простыми словами.

Я правильно понял, что если мы для линукса будем использовать 3 нода, то линукс нужно установить только на одну?

А в случае винды, на оставшиеся два нода как быть? Винда поддерживает такое?

MPI вообще, проги надо самому писать, кучу слабо совместимых версий.

По идее у нас и будут этим заниматься.

Я правильно понял, что если мы для линукса будем использовать 3 нода, то линукс нужно установить только на одну?

Это кластерные LiveDVD с Линуксом, с поддержкой загрузки по сети. Загружаешь один комп с LiveDVD остальные грузятся с него по pxe (спец сетевая карта) за 5-10 минут готовый кластер, да он на диск ничего не пишет, можно и виндовые ноды временно по сети подключить к кластеру!

Винда поддерживает такое?

Кластерных LiveDVD с виндой нет, и не будет.

MPI вообще, проги надо самому писать, кучу слабо совместимых версий.

По идее у нас и будут этим заниматься.

Посмотрел у себя список установленых пакетов, только dev-libs/boost поддерживает mpi

а media-gfx/gimp smp

для кластера надо самому собирать ОС, например на Gentoo cподдержкой smp mpi hdf5 fftw ... Тогда работа в такой ОС будет хорошо параллелится на кластере.

Попробуй http://bccd.net/downloads

Он берёт свои корни от Gentoo но ушел далеко в сторону. Лет 10 назад это был лучший кластерный LiveCD с Линуксом.

Это слишком сложно будет, даже несмотря на то, что я gentoo знаком.

А если не через pxe, сеть, а вездепоставить линукс и объединить чем-то? Будет работать?

Да, будет. PXE даёт возможность загрузится по сети, и нет необходимости устанавливать всюду линукс, его настраивать, обновлять... Плюс с помощью pxe можно на ночь подключать в кластер много узлов с университетских компьютерных класов, значительно увеличивая вычислительную мощь.

Это слишком сложно будет, даже несмотря на то, что я gentoo знаком.

Попробуй http://bccd.net/downloads в 3 версии они на Debian перешли.

Что этот дистрибутив даст?

Он в кластерах лучший из мне известных, вот кратко: http://bccd.net/ver3

Там сразу готовый, работоспособный кластер с кучей примеров для параллельных вычислений. Другие, известные мне, кластерные дистры все заброшены пару лет назад.

По поводу PXE, уверен что 90% университетских компов его поддерживают, просто включить в биосе загрузку по сети.

Я посмотрю в виртуалке, как скачается.

То есть это тот самый вариант, когда его устанавливаешь на одну ноду, на второй врубаешь загрузку по сети, и все это работает как одно?