Релиз Danube Cloud 4.5

Сейчас солярка уже не та (в первую очередь благодаря Oracle).

зачем ты пишешь о вещах про которые ничего не знаешь?

Я знаю что представляет из себя Oracle, это уже не "ничего". ☺

Такой тоже был (G6), но на нём крутился Proxmox. :)

Это были IBM System x3260 M3, если правильно помню (и правильно нагуглил), и парочка супермикр с такими же CPU.

Ты что, они же RHEL-подобный Linux бесплатно раздают, ну не могут они быть плохими!

Учитывая, что из Joyent сбежали почти все разработчики, занимавшиеся SmartOS, могут и не пережить. (Гуглить Oxide Computer, если будут вопросы).

Понятно. На супермикро можно попробовать покрутить.

Занудство, но illumos, пишется именно так, всё маленькими буквами, частично из-за того что I и l во многих шрифтах не различимы. И хорошо бы в тэги тоже illumos вместо sunos.

Поэтому я отношусь к таким заявлениям крайне скептически.

По вашей теории и OpenNebula работает некрасиво с vSphere, KVM и другими гипервизорами?

Присоединяюсь к тому, кто повысил вам грейд до сказочного долб**ба.

Я знаю что представляет из себя Oracle, это уже не «ничего». ☺

Речь не о закрытом ПРОПРИЕТАРНОМ Oracle Solaris, а об OPEN SOURCE форке SunOS - БЕСПЛАТНОМ ядре IllumOS, БЕСПЛАТНОМ OPEN SOURCE гипервизоре SmartOS на базе IllumOS. Это Joyent, а не Oracle, а владеет ими сам Samsung.

Однако релизят еженедельно:

https://us-east.manta.joyent.com/Joyent_Dev/public/SmartOS/smartos.html#20210715T010227Z

Релизят, не спорю, но основные разработчики платформы (в том числе и основатели Joyent), активно занимающиеся именно разработкой illumos, ушли и открыли Oxide Computer. Не знаю, была ли какая-то драма, просто факт.

Кстати, just for fun, писать всю свою разнообразную обвязку к системным утилитам (а, возможно, и сами системные библиотеки) собираются на rust :)

Они точно все туда сбежали? А то я только про мистера Кантрилла слышал.

https://oxide.computer/careers

Там есть Meet the team; выборочно копирую:

Bryan Cantrill
Adam Leventhal
David Pacheco
Joshua M. Clulow
Keith M. Wesolowski
Patrick Mooney <-- bhyve
Dan Cross <-- bhyve
Robert Mustacchi
Ryan Zezeski

Несомненно, кто-то остался, но костяк, как я его вижу, перечислен выше.

В принципе оно без проблем работало и там, и там. Лучше было на супермикре, потому что тамошний RAID-контроллер (какой-то Adaptec) умел в JBOD-режим (но не умел полноценно работать как HBA), а на IBM’ах были стрёмные контроллеры, которые не поддерживали JBOD и не прошивались в IT-режим — там пришлось изворачиваться и делать однодисковые RAID0-тома. :)

На HP с нормальными LSI SAS930x попробовать не довелось, увы.

А чем они сейчас занимаются? Разрабатывают какую-то аппаратную хранилку? На базе чего? Случайно не Illumos?

Так ведь самое сложное в SmartOS вероятно - это ядро?

А оно по прежнему неспешно развивается by open source community, где вероятно немало бывших работников SunOS, неисключено даже, что кто-то из них сейчас работает в Oracle?

Да, бывших работников Sun достаточно, и все они, в основном, расредоточены по различным небольшим фирмам, использующим/разрабатывающим illumos; кроме этого, коммьюнити крайне малочисленное.

Насчёт работников Oracle (текущих) сомневаюсь – не видел ни одного коммита с копирайтом Oracle, и даже когда был слив исходников Solaris в 2011, всех из коммьюнити предупреждали их не скачивать/не смотреть, чтобы потом формально даже повода не было для каких-то претензий.

у HP есть HTML5 квм, у DELL всё ещё Java, лол. ынтырпрайз!

окстись, в iDRAC 7/8/9 HTML5 появился раньше, чем в iLO 4 (емнип в в 2.70 или 2.72 добавили). Обновляйся!

Не могу ответить, кроме того что есть у них на сайте; насчет illumos - судя по тому, как активно они продолжают им заниматься, в первую очередь bhyve, да.

OpenVZ, ЕМНИП, работает на ядре 2.6.32. Что там сейчас из свежего можно на таком ядре запустить?

Если речь о чём-нибудь толковом, то ничего. А если нужен домен, SMTP (без IMAP), и доступ по ssh. По принципу «самый дешёвый». То подойдёт. OpenVZ дешевле KVM на рынке. Хотя как-там SSL/TLS, не устарел ли, вопрос. И имеет ли это значение для SMTP-сервера, тоже не знаю.

В настоящий момент есть предложения с OpenVZ хостингом. Но сам-то я им давно не пользуюсь уже. Потребности выросли.

Ещё OpenVZ можно расширять на лету как хочешь, в пределах хоста. У BHYVE вот изменение размера диска на лету появилось. Изменение параметров на лету – видать нужная функция. И она же работает на оверселлинг.

BHYVE

Занудство #2: bhyve

Чатик, где обсуждается онтопик:

https://gitter.im/erigones/DanubeCloud

Там есть Meet the team; выборочно копирую:

Ждем software defined реинкарнацию Sun Microsystems?

Я не знаю, насколько мало должно быть денег, чтобы можно было сейчас согласиться на OpenVZ. Ну хотя бы LXC — там хоть ядро на хосте свежее может быть.

Я знаю что представляет из себя Oracle

ага, по рассказам таких же форумных знатоков - какой плохой оракл, айайай

он так-то лучшую рсубд, как и ос с железом, делает

Поставил, покрутил. Конечно, ооочень спорная штука.

Пилить и пилить, чтобы довести до ума. Документации очень мало.

На то, чтобы настроить простейшие вещи, уходит куча времени.

Хотел спросить, тритон реально требует регистрации и подключения к их облаку или я что-то не так понял?

У проекта фифо сайт с датасетами в дауне. Можт попозже отмерзнет. часть образов в zvol (я так понял, это kvm), часть в lx, это уже зона lxc, о которой они вообще ничего не написали в руководстве.

Настроить простейшую конфигурацию, когда у ноды два интерфейса, один админ для работы с самой ноды, а второй для виртуалок, не получается. Вариант с указанием external_nic=макадрес в /usbkey/config никак не работает.

Вот и надо прикрутить OpenNebula для начала хотя бы только к SmartOS, а потом уже и к Triton и Danube:

https://docs.opennebula.io/6.0/integration_and_development/infrastructure_drivers_development/devel-vmm.html

и пусть тогда VMWare подумает над качеством своих сырых монстроидальных недоподелок.

IMHO нужно сделать хорошую интеграцию для OpenNebula + SmartOS/Triton K8S + Linstor ZFS HA.

И вот тогда посмотрим, как запоют конкуренты, и конкуренты ли они вообще.

13 Августа не может ошибаться, ждем нового аплианса от какого-нибудь стартапчика из южных штатов.

У меня архитектурный пробел. Я не вижу тритон. Где он? Как он включается, прикручивается к смартос?

Danube я ставить не буду. 4 виртуалки, чтобы фехтовать мышкой, это безумие. Fifo еще может быть, когда сайт поднимут. А пока есть время покрутить smartos и, вероятно, тритон. И я понять не могу, где он?

У меня архитектурный пробел. Я не вижу тритон. Где он? Как он включается, прикручивается к смартос?

https://github.com/joyent/triton/blob/master/docs/developer-guide/iso-install...

Еще полезные линки:

Проект на Github:

https://github.com/joyent/triton

Диаграмма архитектуры:

https://github.com/joyent/triton/blob/master/docs/developer-guide/architectur...

Доки:

https://docs.joyent.com/private-cloud

https://github.com/joyent/triton/blob/master/docs/reference.md

Ansible для генерации сертов Letsencrypt:

https://github.com/joyent/triton-dehydrated

https://github.com/joyent/ansible-triton-dehydrated

API:

https://images.joyent.com/docs/

Обсуждение:

https://smartdatacenter.topicbox.com/groups/sdc-discuss

Промо бла-бла-бла:

https://www.joyent.com/triton/compute

https://news.ycombinator.com/item?id=18598364

Вот и надо прикрутить OpenNebula для начала хотя бы только к SmartOS, а потом уже и к Triton

Причем, наверно, можно научить Linstor жить внутри виртуалок SmartOS, но при этом рулить наружным ZFS на baremetal SmartOS?

Т.е. пробрасывать надежный солярочный baremetal zvol внутрь bhyve виртуалки с Linstor и реплицировать его с другими подобными через DRDB, а потом раздавать его HA наружу по iSCSI и другим протоколам?

Мне FiFo по итогу понравился меньше, чем Triton, а Triton на тот момент не поддерживал работу с одиночными нодами (ЕМНИП, заставить его работать на одной ноде можно, но я не пробовал). Danube ещё сам не тыкал, надо будет выделить время.

Хотел спросить, тритон реально требует регистрации и подключения к их облаку или я что-то не так понял?

Когда использовал его в проде (2015-2016), никаких регистраций не требовалось. Ты точно не перепутал тот Triton, который ставится на ноды (on-premise bare metal), с публичным облаком Joyent под тем же именем? Оно точно так же управляется и используется, просто вместо своих нод ты ходишь по выданному тебе аккаунту в API публичного облака.

Настроить простейшую конфигурацию, когда у ноды два интерфейса, один админ для работы с самой ноды, а второй для виртуалок, не получается. Вариант с указанием external_nic=макадрес в /usbkey/config никак не работает.

Сейчас точно не вспомню, но у меня на всех нодах было две сети — одна внутренняя для связи между нодами, другая для связи со внешним (по отношению к нодам SmartOS) миром. Для каждой сети использовалась отдельная NIC, задавал их тоже по MAC-адресу.

По образам — да, в ZVOL живут KVM-зоны (и, скорее всего, bhyve-зоны тоже). Нативные зоны и lx (LXC-подобные, в них можно запускать большую часть линуксовых бинарников) живут на обычных датасетах (тех, что создаются командой zfs create без опции -V).

Он не ставится «поверх» — у Triton свой образ для headnode (первой ноды кластера), с которого ты поднимаешь кластер и используешь его потом как управляющую базу и PXE-сервер для загрузки остальных нод кластера.

Вообще, если у тебя нет цели поднимать модный ынтырпрайзный отказоустойчивый кластер, то Triton тебе не очень-то и нужен. Обычной чистой SmartOS хватит за глаза. FiFo по вкусу можно добавить, но раз там какая-то жижа с образами — рискну предположить, что авторы его забросили (главный разработчик не так давно рекламировал какую-то новую штуку, уже не связанную с FiFo). Образы можно тягать из репо Triton, у них это не возбраняется вроде.

Совсем забыл — есть же вариант установки «CoaL» (Cloud on a Laptop), где всё будет работать в одной VM[1]. Можно частично использовать этот гайд, чтобы разрешить работу пользовательских зон и VM на головной ноде, чтобы не поднимать кластер[2].

1. https://github.com/joyent/triton/blob/master/docs/developer-guide/coal-setup.md
2. https://github.com/joyent/triton/blob/master/docs/developer-guide/coal-setup.md#setting-up-cloudapi-for-development

Ну я ж говорю, архитектурный пробел. Я привык что все эти управляшки ставятся как виртуалка на одной из нод.

Спасибо, теперь понял. Поверчу. У меня как раз есть одна убогая железка, сделаю ее кластером, посмотрим.