Самосборный СХД

Кластер из GlusterFS + libvirt.

Я думаю купить на каждый гипервизор по fibre channel на 4 гбита

это старье еще продается?

На СХД соответственно raid из ssd, что скажете ?

если есть SAN и деньги на кучку SSD, то почему бы и нет. Только каким образом получается

Самосборный СХД

Посоветуйте, какие подводные камни и как лучше сделать. Спасибо за внимание

начните с описания задач, что конкретно вся эта система должна делать

Как я себе представляю: должен стоять компьютер с кучей винтов (СХД) и 3 компьютера с kvm на борту соедененые с СХД по fibre channel которые с этого схд берут по iscsi куски жестких дисков и запускают виртуалки. Я такого никогда не настраивал вот интересуюсь, как лучше такое построить.

3 компьютера с kvm на борту соедененые с СХД

Для чего такая схема? Нужна онлайн миграция чтоб не было простоя? Тогда СХД должен быть толковый, в котром можно менять носители онлайн, а не «комп с кучей винтов». Комп с кучей винтов станет узким местом при первом же сбое носителя.

Самосборный СХД
На СХД соответственно raid из ssd

а если откажет сам CXД или рейдконтроллер испустит дух?

А зачем кластер, HA? Если HA, то дома или на работе? Зачем FC и ssd, ради иопсов? Пока ничего не понятно...

Гемор себе на голову выдумал. Делай glusterfs или ceph — лучше для нищехранилища виртуалок ещё не придумали.

Да согласен насчет узкого места, но на данном этапе это имеет второстепенное значение. сейчас хочется понять какое железо можно применить для построение своего схд. В онлайн миграции пока нет нужды, простой в 20 минут не критичен.

ну, если такое и случится, то спасут бэкапы + скорее всего что рейд софтовый собран будет

начни с нормального сервера под сторедж, бекплейн, hotswap, хороший контроллер с батарейкой и кучей кэша и т.д.

как вариант - zfs с набором из sas и ssd, можно на нексенте, но тогда тебе нужен контроллер который умеет режим jbod или hba.

если собираешься использовать iscsi то бери свич и карты 10G а не FC, если FC то можешь экспортировать напрямую, LIO это умеет, openfiler тоже, но его не трогай

А зачем кластер

живая миграция. ваш кэп

хороший контроллер с батарейкой и кучей кэша

Под ssd можно взять простой LSI HBA (шьется и в raid) и парочку SSD в зеркало под горячие данные. Разметку ssd полностью делать не нужно. Интересно, что дорогие контроллеры с кэшем работают с ssd хуже (чем без кэша). И производители продают отдельно опцию работы без кэша. Батарейку сегодня заменяет суперконденсатор.

Под ssd можно взять простой LSI HBA (шьется и в raid) и парочку SSD в зеркало под горячие данные. Разметку ssd полностью делать не нужно. Интересно, что дорогие контроллеры с кэшем работают с ssd хуже (чем без кэша).

это само собой, я говорил о механических дисках или совмещенных системах. всегда можно поставить обычные диски в рейде и пару карточек от fusionIO, вопрос только насколько о/п хочет поизвращаться и деньги потратить

Батарейку сегодня заменяет суперконденсатор

с т.з. заказа разницы нет, с чем контроллер идет в комплекте то и получишь

если не сложно, можете объяснить что лучше, купить 10G сетевухи или через Fibre channel, и в чем разница, для меня все это выглядит как сетевые карты, что то, что это, и как понять «экспортировать напрямую»

и еще, подскажите пожалуйста, на что следует обращать внимание при выборе 10gb сетевых плат ?

давайте начнем с начала. сколько хостов планируется, сколько виртуалок, сколько места, какие виды нагрузок, как вся эта система будет расти в ближайшие 3-5 лет?

планируется до 5 хостов. Вируталки с windows терминалами и mssql и linux vps. Рост, самый простой на первый взгляд, построение независимых вот таких схд + хосты с виртуалками исходя из потребности. На каждый схд где то по 4 тб SSD и столько же HDD это все с учетом рейда. Будет сервер с кучей hdd для резервного копирования внутренностей виртуалей.
Хочу все же определится на 10gbit строить или на fc.

отлично, а бюджет на это какой?

как такового бюджета нет, покупаю на форумах железки :-)
Так как в этом деле новичок, сначала хочется разобраться и протестировать, то есть собрать по самому минимуму

вот в том и дело что если все серьезно, то по минимуму не получится. тут или нищебродствовать и городить велосипед, или строить серьезный виртуальный ДЦ.

если по хорошему, то неплохо бы все поднять на 8 или 16гбит FC, с двумя (для начала) FC свичами и отдельным набором свичей для сети. на хостах соответственно контроллеры. к FC свичам прицепить нормальный SAN (EMC/Netapp/HDS/HP/Dell/IBM/...) a на хостах развернуть полноценный софт для управления виртуальным ДЦ. лично мне близок RHEV или oVirt, но есть и другие решения. Тогда при нехватке местa увеличивается SAN, а при нехватке ресурсов добавляются хосты.

если велосипедить, то можно все поднять на локальных дисках серверов вообще без SAN, через ceph или gluster, но рулить всем этим будет намного сложнее и муторнее.

главный вопрос - бюджет.

с этого схд берут по iscsi куски жестких дисков и запускают виртуалки.

думаю лучше сразу по сетке отдавать большой диск на котором будет куча виртуалок, а не лепить кучу мелких дисков.