LINUX.ORG.RU
ФорумAdmin

Как настроить Ceph

 


0

2

Всем привет!

Хочу сделать себе кластер Ceph. Схема примерно такая:

  1. Будет 2 хоста. Пока только 1, второй появится позже.
  2. На первом хосте 3 диска, соответственно 3 OSD. 2х500Гб и 1х8Тб.
  3. На 2ом хосте диски могут быть другими, по количеству и размеру, но общий объем такой же (примерно).
  4. Уровень репликации 2.

«Хотелки»:

  1. Что бы работало, пока, с одним хостом. И при появлении 2го хоста запустилась реплика.
  2. Репликация была на уровне хостов.

Вопрос. Какие значения выставить для параметров:

# Главный вопрос
osd_pool_default_size = XX
osd_pool_default_min_size = XX
osd_crush_chooseleaf_type = XX

# Дополнительно
# Менять значение этих параметров или оставить по-умолчанию?
osd_pool_default_pg_num = XX
osd_pool_default_pgp_num = XX

# И журнал. Данные на HDD, а журнал на SSD
osd_journal_size = 10240

С двумя хостами у тебя не будет нормальной отказоустойчивости - читай как ты всё равно сможешь пролюбить данные. По дефолту в отсутствии кворума ceph ставит пулы в read-only. Кворум - это больше половины хостов онлайн.

С одним хостом - это 1 хост. С двумя хостами - два :-). С тремя - тоже два.

То есть вот у тебя на двух хостах пул с репликой 2 настроенный по умолчанию(min_size ты не трогал), когда отвалится один хост - этот пул уйдет в R/O !!!

Далее по параметрам - если не уверен зачем параметр нужен - не трогай. Хорошая статья по настройке и нормальному тестированию скорости Ceph - тут

pg_num не трогай, лучше включай autoscaler - он разберется.

Но вообще вопрос - оно тебе надо? На двух хостах надо наверное крутить Linstor какой-нибудь. Или ZFS-репликацию(в Proxmox для этого специальные костыли напилены).

Нормально работающий Ceph в котором ты не пролюбишь свои данные - это строго от трех хостов и выше, желательно нечетное количество(3,5,7 и т.д.)

Pinkbyte ★★★★★
()
Ответ на: комментарий от cobold

А никуда не будет. С таким малым числом осд переполнение любого переведет кластер в Р/О, с огромной вероятностью переполненный диск будет хотя бы в одной пг с каждым другим осд.

l0stparadise ★★★★★
()
Ответ на: комментарий от Pinkbyte

Благодарю за ответ!

Вобщем я и сам к мысли что 2 хоста для Ceph маловато.

Попробовал «покурить» в сторону Linstor’а. Что-то вроде оно, но нормальной доки как это ставит не нашел :( Или я что-то непонял.

Proxmox для меня не вариант, я работаю с Docker, а у него виртуализация. Не совсем (или совсем не) то, что мне надо.

Надо много думать :)

ProphSerg
() автор топика
Ответ на: комментарий от Pinkbyte

Вроде ОНО!!! Благодарю!!!

Но эти «редиски» из Linbit требуют регистрации что бы что-то скачать (собирать из исходников ломы). Даже образы для докера и те требуют регистрации.

А регистрация у них, как я понял своим англИцким, на организацию. А мне для СЭБЭ надо :)

ProphSerg
() автор топика