Ceph Bluestore, количество HDD на один SSD

Считай io и скорость диска. Ssd бывают сильно разные и в корне не верно отталкиваться только от магического слова ssd.

Ок, как это может помочь?

Сейчас при текущей конфигурации, я конечно могу проанализировать (утилизация всех дисков почти по нулям), но как все это будет вести себя на Bluestore?! По заявлением разрабов их новый тип хранилища сильно отличителен от прежнего, поэтому анализируя с текущего массива и пытаясь понять как это будет вести себя при новом типе, я думаю, это пальцем в небо. Пока я не нашел адекватной доки на этот счет.

в корне не верно отталкиваться только от магического слова ssd.

Что-то тем кто писал доку к сефу и другие многочисленные статьи это не помешало вывести утверждение, что на 4-6 OSD лучше использовать один SSD.

Зависит от ssd. Нужны тесты.

У нас половина ssd intel 730, половина - samsung 850 pro. На каждом висит по 4 харда, полёт нормальный.

сколько RAM оно потребляет ?

Тип хранилища - Bluestore?

Да. Переезжали с Filestroe на чистых hdd на BlueStore hdd+ssd.

Filestore *

Эти рекомендации происходят от соотношения скоростей HDD и SSD при условии использования журналов. В bluestore журналов нет (там есть конечно WAL и DB, но они скорее к IOPS критичны), так что Вам следует исходить из расчета того, насколько критична потеря всех OSD завязанных на этот SSD.

Ну вот да, собственно почему и задался этим вопросом. С журналами мне понятно, что они делают, как и зачем они нужны, а вот, что из себя WAL/DB представляет я хз) лень читать разбираться (понятно, что такой подход не есть хорошо, мне геморроя достаточно с облаком), поскольку я занимался самим OpenStack'ом, а ceph мне добавили как побочку, после того как ушел админ, занимавшийся всеми массивами в компании, его роль упразднили и разделили задачи между админами.

В общем, тогда останусь на старой схеме, 5 OSD на 1 SSD, мне все равно другие харды или SSD не дадут. Я просто думал, что возможно все OSD с сервака запихнуть в один SSD с этим Bluestore, а оставшиеся использовать под новым пулом для особо критичных ВМ к ДП в OpenStack'e.

Еще бы теперь найти как мигрировать OSD cо связкой SSD на новой тип хранилища. Сам процесс миграции описан в доке, но я б не хотел при миграции, чтоб создавались новые партиции на SSD и после того как были бы промигрированы все OSD, эти партиции остались. Хотя наверно, буду выдергивать сразу 5 OSD и удалять все партиции c SSD перед миграцией. Только такой наверно оптимальный вариант.

По личному опыту, лучше всего так:

1. включаете noout, norebalance, nobackfill

2. выключаете все OSD на ноде

3. вайпите заголовки разделов на всех дисках OSD

4. удаляете все разделы

5. Создаете новые OSD

6. Вводите новые OSD в кластер и убиваете старые OSD через ceph osd rm

7. Снимаете noout, norebalance, nobackfill - кластер тут же начинает рекавериться

Ну и далее дожидаетесь пока все PG не перейдут в active+clean и только потом принимаетесь за следующий хост.

В таком режиме мы двигали примерно пару сотен дисков в общей сложности