Отказоустойчивый Network Storage для Proxmox 4.4

Разбирайся с Ceph'ом, других вариантов как бы и нет.

Ceph на двух серваках работать сможет? ему на сколько я знаю надо минимум 3.

ceph и на одном сервере сможет работать.

Работать наверное сможет, а как быть с HA ? Что будет если отвалится primary сервак (это когда ceph на 2-х серверах работает), где находится admin и monitor ceph ?

ты задал вопрос будет или нет работать.

если тебе нужно минимальную отказоустойчивость из двух нод, то по 1 и более OSD на ноду(в зависимости от количества дисков) и по 1 монитору на ноду. ну и уровень репликации минимум 2 и смотри что-бы репликация была на osd с разных нод ( в случае нескольких osd на физическую ноду, ps обычно раскидывает правильно но лучше проверить)

Т.е. admin-node и monitor разместить на тех машинах где крутится Proxmox, а osd разместить на двух R410?

да. http://docs.ceph.com/docs/master/start/quick-ceph-deploy/

Главное, чтобы количество мониторов было нечётным числом. Т.е., 1 или 3 — это ОК. Отказоустойчивость, понятно, — 3 и выше.

Понял, 5 нод с проксмоксом это гуд. Гигабитной сетки между Proxmox и osd хватит? есть так же возможность организовать 10 гигабит между osd.

2 ноды цефа с 1 винтом на 4 ТБ? Еще и на гигабитной сетке. Ты будешь плакать от его производительности.

Sheepdog, не?

Либо размазывай хранилище по всем 7 серверам - на базе шипдога/цефа (не забывая про потребление памяти последним), либо дрбд на этих двух серверах. Хотя учитывая всего 2 диска, ставь их в рейд на одном сервере и отдавай по lvm iver iscsi. И думай о модернизации всего этого дела.

Ну и 4-5 машин на ноду - электричества не жалко? Или мало памяти и процессора на нодах?

Всё ноды с Proxmox имеют на борту Core i7 и 32гб озу, R410-e имеют по 24 гига оперативы и по два ксеона на сервак. Винты в будущем добавятся. Сейчас запустить бы цеф на двух винтах.

На полном серьезных предлагаю собрать на одном сервере софтовый рейд из этих двух дисков и отдать их через айскази. В случае, если сервак умрет, переставить их в живой и поедешь дальше. Простой в 1 час не убьет фирму, у которой бюджет на айти 200 тыщ рублей. А скорость даже такого варианта без накладных расходов на сеть будет печальной, 150 иопсов на 12 виртуальных машин - это жесть.

Гигабит говно. Десять лучше, но тоже говно. И вопрос даже не в скорости, а в задержках. Как-то будет работать, может даже тебе хватит.

Не, а зачем?

А цеф зачем?

Десять лучше, но тоже говно.

В то же время хают связку ceph + IB.

По существу : если не планируется закупка дисков и памяти, то drbd на dell серваках и отдавать в proxmox по iscsi диски - будет подходящим решением. Но тупить будет адовово.

На сколько адово? И есть ли решение на счёт уменьшение задержек?

Добавить дисков - это как минимум. 5 нод, на каждой ноде будет хотя бы по 5 виртуалок, это просто положит 2 диска даже на чтение.
Далее, если в каждом серваке будет хотя бы raid 10 из 4 дисков, то уже неплохо как минимум агрегировать сеть. Но и при таком раскладе будет тормозить.

RAID1 на каждом сервере не прокатит?

RAID1 на каждом сервере не прокатит?

зачем raid1 с ceph?

В то же время хают связку ceph + IB.

почему? задержки минимальные, скорость прекрасная даже на DDR 4x

на ceph потребуется закупить 10gb сетевух в каждый сервак, дисков, памяти, свич 10 гигабитный, что дороговато выходит для челоека, использующего по одному диску в сервере.

почему?

не вникал. просто видел несколько вопросов о том, нет ли улучшений у ceph с ib.

на ceph потребуется закупить 10gb сетевух в каждый сервак, дисков, памяти, свич 10 гигабитный, что дороговато выходит для челоека, использующего по одному диску в сервере.

как твой ответ связан с моим вопросом? повторюсь - «почему хают IB? задержки минимальные, скорость прекрасная даже на DDR 4x»

не вникал. просто видел несколько вопросов о том, нет ли улучшений у ceph с ib.

IPoIB? или RDMA?

rdma

Потому что стильно-модно-молодёжно, проверено, работает, универсально.

Норм обоснование. Я бы понял еще умение прокса принять нативный цеф и встроенный гуй для создания конвергентного решения. Которое, впрочем, с целым не получается сделать из-за его архитектуры и прожорливости (хотя остальные СДС тоже не лучше :()