LINUX.ORG.RU
ФорумAdmin

oVirt на опыт масштабирования (100+ ВМ)

 , , ,


1

2

Коллеги, здравствуйте! Интересует реальный опыт работы с oVirt при достаточно плотных инсталляциях. Есть ли пример разворачивания порядка 100–500 активных ВМ, и хотелось бы понять, насколько стабильно ведёт себя oVirt на таких объёмах.

Если у кого-то уже поднято 100+ ВМ (а возможно и несколько сотен), поделитесь, как платформа переживает высокую нагрузку.

Работа админпанели при нескольких активных сессиях. Будет 4–10 одновременных пользователей в админке (включая периодические тяжёлые операции: миграции, обновления шаблонов и пр.). Есть ли у вас замечания к отзывчивости oVirt Engine в таких сценариях?

«Каталогизация» и удобство управления. В oVirt нет классической структуры «папок» для группировки ВМ, поэтому любопытно, как решаете вопрос организации. Используете теги, нестандартные методики именования или внешние инструменты (Ansible, Terraform и т.д.)?

Подводные камни и лайфхаки. На что обратить внимание при планировании ресурсов и сетевой инфраструктуры? Какие узкие места в первую очередь проявляются при росте числа ВМ? Как у вас обстоят дела с обновлением версии Engine и гипервизоров при загруженном кластере? Буду очень признателен за любые практические советы и примеры! Интересует всё: от выбора хранилища и планирования сети до организации группировки ВМ в большом кластере. Заранее спасибо!

Я работал в команде овирт ещё со времен стартапа. Масштабирование на сотни машин вообще не проблема, упереться можно в районе пятизначного числа машин. Полезно выделить отдельную железку под engine вместо self hosted.

dyasny ★★★★★
()
Ответ на: комментарий от dyasny

А как у вас была устроена «каталогизация» или группировка кластеров — чтобы можно было оперативно находить нужный среди ~500 ВМок? Мне, кажется, что для удобства работы с таким количеством виртуалок нужно основательно переделать UX/UI админпанели

rezqlar
() автор топика

Если у кого-то уже поднято 100+ ВМ (а возможно и несколько сотен)

150 хостов, претензии есть, но оно работает. До 100 хостов даже претензий особо не будет, ну вернее не появится ничего такого, чего ты не видел на 3 хостах.

Внезапно первое, что начнет пердеть - DWH.

Есть ли у вас замечания к отзывчивости oVirt Engine в таких сценариях?

Он всегда не самый бодрый, но есть те, кто пользуют его толпой и вроде бы не жалуются. Нюанс - если ходить именно в API то там есть пачка нюансов, но овирт древний - его UI не использует его же API.

поэтому любопытно, как решаете вопрос организации.

Терпением, как и все остальные (

или внешние инструменты (Ansible,

Это работает, даже неплохо.

Terraform и т.д.)?

Это не работает, виртуалку будет сносить по каждому чиху, все те, кто используют провайдер - дорабатывают его сами. Там все очень плохо, API овирта сделан абсолютно несовместимым с TF, поэтому любой провайдер, сделанный поверх родного oVirt будет угребищем по определению, нельзя сделать его красиво (наблюдал за месяцами попыток).

Подводные камни и лайфхаки.

Хост должен держать линк до всех доменов хранения в ЦД. Т.е. если ты родишь один ЦД на 150 хостов, то каждый хост должен держать линк до всех доменов хранения, даже если они ему не нужны. В случае проблем на данном линке енжин может ошибочно посчитать хост неготовым к работе и начать растаскивать барахло.

Бондинг настраивай в анаконде и больше не трогай - через енжин все проливается жепой и потом nmstate серит под себя трейсами, разматывая тебе сеть на части.

Снапшоты имеют плохую славу, но тут лучше загуглить, сам не сталкивался. Исправляемо, но всякие системы бэкапа могут пропердеться, кто-то из рашн вендоров чинился регулярно по этой теме.

Гластер из коробки сдохнет почти гарантировано, не лезь туда.

Встроенные потуги на SDN игнорируй. Не трогай ovirt-provider-ovn и OVS-кластера, оно не работает.

Закладывай прилично времени на обновление сертов и прочее - гемор.

Если инсталляция планируется с тыщами и тыщами ВМ и сотнями хостов - вынеси DWH на отдельную БД на отдельном хосте - она приседает со временем неплохо.

// в целом Ovirt свое существование завершает и развитие идет уже у коммерсов, если тебе надо прям что-то ынтырпрайзное - готовь кошелек.

mikhalich ★★
()
Последнее исправление: mikhalich (всего исправлений: 1)