HPC и виртуализация?

Ты хочешь использовать инструмент который был создан для решения обратной задачи, максимальной утилизации железа виртуалками, которые не жрут CPU 100% времени, что бы это самое железо не простаивало))

То что ты хочешь это же классический пример для OpenMP, каждая задача жрёт 100% ресурсов N времени, т.е. когда надо тебе, запускаешь свою задачу и наслаждаешся, когда другим, они стопают твою и запускают свою

Да, возможно, я думаю не в ту сторону. Потому и пришел за советом. От виртуализации мне хотелось получить удобство администрирования.

Корректная виртуализация обычно не просаживает производительность, но радикально увеличивает КПД ЦПУ.

Я лично использовал бы XEN вместо KVM, хотя с другой стороны KVM даёт больший КПД использования CPU. И возможно большее удобство.

Корректная виртуализация обычно не просаживает производительность, но радикально увеличивает КПД ЦПУ.

Если не сложно, распиши в двух словах примеры корректной и не корректной с точки зрения просадки производительности виртуализации.

Скажем твоё железо одновременно должно соответствовать решаемым задачам и быть оптимизированным под виртуализацию.

Например если твой южный мост не умеет виртуализацию то не стоит виртуализировать приложения активно использующие ввод-вывод. Если твое приложение активно использует видеокарту, например обсчитывает нейронную сеть, то твоя видео карта тоже должна уметь виртуализацию.

От виртуализации мне хотелось получить удобство администрирования.

Может сделать изоляцию всех ядер, кроме одного или двух, а потом с помощью taskset запускать на изолированных задачи?
Причём не обязательно задачу на всех изолированных ядрах, можно и на части, но важно чтобы разные задачи на одном физическом ядре не пересекались и каждая задача сидела на своём ядре занимая его полностью без соседей.

Есть рабочая группа из четырех человек включая меня, занимающихся различным числодроблением.

Во первых: нужна потоковая или пакетная обработка?

Если потоковая

Т.е. несколько задач, которые работают месяцами, передавая данные друг другу.

Мне хотелось бы сделать все стильно, модно и молодежно, с отдельными виртуальными машинами (KVM) на каждую задачу.

Сейчас «стильно, модно и молодежно» - это контейнеры в Docker.

Для HPC есть даже спец проект: Singularity

Если пакетная

Суммарно много задач, каждая из которых работает часы или дни.

Особо не вижу смысла в своём узле вне кластера. Но.

На нашем вычислительном кластере виртуализация не используется. Как мне ответил его администратор, в том числе, по причинам производительности.

Всё верно он ответил. На HPC-кластере совершенно не нужна виртуализация. Как правило вычислительный узел базируется на минимальной установке ОС, с выпиливанием всех лишних служб и библиотек. Тем самым максимально отдаётся процессорное время пользовательским программам. Даже сотые доли процента процессорного времени на ядро, могут уменьшить на несколько процентов суммарное время работы активно синхронизирующегося MPI-приложения на нескольких узлах.

От сюда вывод. Все библиотеки и программы работающие на вычислительном кластере к ОС не имеют отношения, хранятся и выполняются в пользовательском окружении. Никого не смущает на кластере с Centos 6.x использовать последние версии компиляторов.

Отсюда и мода к environment modules на кластерах.

Ищё одно сильное место нормального кластера: Кластерная ФС. Таже Люстра спокойно обходит локальный SSD. А про объём и говорить нечего.

Хорошим подспорием при работе на кластерах является EasyBuild

Так что:

При использовании кластера есть некоторые административные и технические ограничения, которые усложняют работу.

Скорее смахивает на неумение работы на нём.

От виртуализации мне хотелось получить удобство администрирования.

Не получишь. Поверь. В этом случае потрать 1-2 дня на Ansible.

Спасибо за развернутый ответ! Я вижу, что неправильно изложил задачу.

Не стоит задачи собрать ещё один кластер, на котором будут считаться задачи неделями. Стоит задача собрать рабочую станцию немного мощнее обычного PC, на которой будут интерактивно работать четыре человека через тонкие клиенты в виде ноутбуков. Вычисления, которая я буду на ней запускать, занимают минуты. Нечто вроде отладочных запусков и тестов при написании кода.

На кластере в режиме «все свое ношу с собой в пользовательском окружении и компилирую из исходников» я действительно работаю впервые. Но и помимо этого есть и другие ограничения по способам подключения - интерактивный ssh доступ не предоставляется, только batch-job или графическая сессия (которой невозможно нормально пользоваться при подключении из вне).

Видимо, на счёт буквы H в HPC я погорячился.

Ожидаемый уровень железа: 64 GB RAM, 16-24 core CPU, 2 быстрых SSD. Видеокарты по необходимости (мне они не нужны, но один из коллег использует).

Увы, кроме меня никто не будет ничего компилировать из исходников и т.д. Попросят установить Ubuntu/Windows (причем каждый свое) и т.д.

Именно по этой причине я и хотел виртуалки.

Попросят установить Ubuntu/Windows (причем каждый свое) и т.д.

Тут без виртуализации вообще никак ИМХО. А если нужен доступ к железу - то тут только KVM/VMWare(последнее в контексте видеокарт сильно вряд ли - если у вас конечно не завалялось бюджета на nvidia grid).

Мне хотелось бы сделать все стильно, модно и молодежно

Необходимо заполнить пробел между локальным PC и вычислительным кластером

https://cdn.shopify.com/s/files/1/1214/6676/products/IMG_6354_Product_1024x1024@2x.jpg?v=1567881055 ну так собери сам.

Тебе надо, чтобы хост не засорялся от твоих задач? Попробуй контейнеры. По контейнеру на задачу.

И, да, ты не сказал, на cpu дробите или на gpu?

Я делаю на CPU, другой человек запросил GPU. Но я с ним ещё не обсуждал подробно его потребности.

64 GB RAM

Мало. Бери больше, от 256ГБ.

Говорю по опыту, но тут надо смотреть какие задачи собираетесь решать.

Пример. Для расчёта потребовалось не меньше 10ГБ на ядро. На кластере можно задействовать 6 ядер из 20 на узле, но взять побольше узлов. На отдельно стоящей это уже не эффективно.

В группе из нескольких человек это может быть регулярно.

Попросят установить Ubuntu/Windows (причем каждый свое)

В крайнем случае. Или памяти ещё больше надо.

Лучше ориентироваться на конфигурацию близкую к кластерной. Остальное решат контейнеры или EasyBuild.

Определите список ПО которое хотите использовать. Далее распределите его по следующим категориям (в порядке приоритета):

1. То что можно запустить нативно:
   • вручную скомпилировать и описать в modules;
   • задействовать виртуальные окружения: аля pyenv для Python, stack для Haskell и т.п.
   • системы автоматизации сборки: EasyBuild и т.п.
2. Контейнеры
3. Vagrant
4. ВМ управляемые вручную.

Желательно не опускаясь ниже 2, 3 - крайний случай, 4 - думайте как от этого избавиться.

Рассмотрите инструменты коллективной работы, такие как JupyterHub.

Не используйте root-доступ. Вообще ни как и ни за что. Особенно сам. Уже два админа через root - это кусок слипшейся лапши.

Все административные действия только через Ansible или т.п.

Видеокарты по необходимости

GPU - самый дешёвый способ ускорить большое число вычислений. Так или иначе всё вертится вокруг массовых матричных вычислений.