md raid1 + Logical Volume

То, что нужно для этого это файловая система Linux software raid.

Это не файловая система, а обычное блочное устройство. Ёмкость чуть меньше исходного, т.к. mdadm будет хранить и свои метаданные. Если в качестве тома softrware raid ты используешь dos volume ( dos раздел HDD ), то можно указать в Partition table тип ФС fd ( linux raid autodetect ). Но это не обязательно - software raid всё равно будет собираться по метаданным, а не по записям в partition table, см. blkid

Hdd отформатировать проблем нет, но как это делается с Logical Volume я пока не понял.

И hdd, и hdd volume, и LVM Logical Volume, software raid ( mdadm ) - блочные устройства. И ты можешь делать с ними всё, что обычно делают с блочными устройствами.

Не очень понятно! Смотри у меня есть жесткий диск, их может быть несколько, в LVM. Собираю их в группу vg1. Делаю в группе два логических тома. Из них один должен быть в рейд массиве собран с еще одним жестким диском. В опенфиллере без проблем через веб интерфейс отформатировать в ext3 xfs iscsi. Но как двигаться дальше не понял, разные перепробовал вещи но ни как. Если блочное устройство /dev/vg1/vl1 то почему его нету в списке блочных устройств в интерфейсе. Или что я должен сделать что бы оно там отобразилось. А с другой стороны, есть этот логический том, есть еще жесткий диски, mdadm говорить что устройство занято /dev/vg1/vl1 mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdc1 /dev/vg1/lv1 mdadm: Cannot open /dev/vg1/lv1: Device or resource busy mdadm: create aborted

df -k Вот это не много помогло, дело в том, что lv1 был смонтирован, вот и ошибка была, что устройство занято!

Из них один должен быть в рейд массиве собран с еще одним жестким диском. В опенфиллере без проблем через веб интерфейс отформатировать в ext3 xfs iscsi.

Сначала создаёшь рейд, потом уже можешь на этом рейде создавать ФС/LVM что там ещё. При создании рейда данные на диске/LV ты потеряешь.

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdc1 /dev/vg1/lv1 mdadm: Cannot open /dev/vg1/lv1: Device or resource busy mdadm: create aborted

дело в том, что lv1 был смонтирован, вот и ошибка была, что устройство занято!

Ну ты даёшь

Дело в том, схема эта собственно vmware VSA и именно по публикациям именно так реализовано. Как они обещают должно все это именно работать по такой схеме. Но я пока не понял некоторые вещи, по чему это должно работать. Проверил нет не работать на самом деле. НУ уменя возникает вопрос, как esx поймет по нфс что идет отказ одного дата сторе и вм находиться на другом. Кто как вообще подобную систему пытался реализовать. http://communities.vmware.com/people/Deshifrator/blog/tags/vsa

А кто мешает установить сам VSA, а не клепать велосипед?

И еще посмотреть документ, на 5 странице нарисована схема, в которой отображено для точки монтирования nfs подключен два диска mdraid1 и iscsi. Разве это возможно? то есть /raid на котором смонтировать md0 подключен еще и lv2? это можно как то реализовать? сам /raid прописан /etc/exports кому и как раздать !

Конечно я ставил, но ввиду того, что мы ее пока использовать не можем, а подобное нужно!

http://communities.vmware.com/people/Deshifrator/blog/tags/vsa

На этой схеме _все_ физические диски входят в VG. А в твоей схеме из первого поста - нет.

на 5 странице нарисована схема, в которой отображено для точки монтирования nfs подключен два диска mdraid1 и iscsi. Разве это возможно?

Ты не понял. Смотри схему на стр.18, сравнивай со схемой на стр. 5. Монтируется ESX4. Эта фс создана на raid1. Члены рейда - локальный диск ( или LV ) и удалёный iscsi диск

Да правильная у него схема, просто он сам в ней не разобрался. Самый левый диск получен по iscsi с дугого хоста, где этот диск преставляет собой LV на локальных дисках

Самый левый диск получен по iscsi с дугого хоста, где этот диск преставляет собой LV на локальных дисках

Так у него то на схеме этого нет. Может это и не принципиально, но если смотреть только на схему из первого поста - цель подобного шаманства вообще не понятна...

В большей части я реализую именно на странице 18. Я ее реализовал полностью. как по схеме. Но на странице 5 схема приведена такая, что по нфс подключаеться не только к мдрейд1 но к диску айскази который будет передаваться, вопрос как мне прописать это в експорте. ТО есть на на одном сервере нфс имеет доступ и к mdraid1 и к диску iscsi. Пока как это сделать я не пойму. Собственно первая схема она утрирована, и кое, что опущено, но сути не меняет, так возможно будет и через хба

ТО есть на на одном сервере нфс имеет доступ и к mdraid1 и к диску iscsi.

Как это по твоему должно работать?

Но на странице 5 схема приведена такая, что по нфс подключаеться не только к мдрейд1 но к диску айскази который будет передаваться

Кто тебе сказал такую глупость? Hint: что по-твоему означают стрелки на рис. на стр. 5 ?

Пока как это сделать я не пойму.

Никак, ты не понял принципа работы. Кури схему на стр. 18

Собственно первая схема она утрирована, и кое, что опущено

Именно. И показывает она не технологическую схему,а связи между компонентами.

То что на 18 странице реализована, но я понимаю, что она не полная, в чем еще завязка я не пойму. Как может реализоваться подобный принцем, вм находящейся к примеру на первом хранилище vds0 , и в случае потери vds0 вм как работала так и должна работать, я пытаюсь именно разобраться и попробовать реализовать, вот поможете мне? Что я делаю из ходя из схемы на 18 странице.. Пока без кучу дисков, на одном /dev/sdb1(lvm) поднимаем группу томов, vg0 в группе разбиваем на два логических тома lv1, lv2. На обоих серверах. Далее на обоих к примеру lv2 будут передаваться партнеру host1 -> host2, host2 -> host1. По айскази они получают луны. На каждом хосте получаться следующие блочные устройства /dev/sdb1, /dev/vg0/lv1, /dev/vg0/lv2. И еще по айскази получаю /dev/sdc. Собираю на каждом сервере через mdadm рейд1 с устройствами /dev/lv1 и получаемым по iscsi /dev/sdc. Вот это верно понял по схеме? В чем ошибка?

Вот это верно понял по схеме?

Да

вм находящейся к примеру на первом хранилище vds0 , и в случае потери vds0 вм как работала так и должна работать

Такого не будет. Если vds0 потерян, ВМ лишатся доступа к диску.

Чтобы vds0 не был потерян при отказе хоста vsa host0, где-то должно быть резервирование.

Либо multipathing на ESX'ах и кластерная ФС на всех vsa host'ах, либо кластерное ПО на всех vsa host'ах, которое при падении vsa host0 автоматически подхватывает ресурсы ( ФС, возможно IP )

Нет, я не знаю как именно это реализовано в VSA, ищи сам.

Я с твоей логикой согласен, но вса именно так и работает и проверял, вм работает. По этой схеме видно, что имено lv2 будет лежать информация потерянного хоста. Но по этой схеме он предается по айскази. Вот я здесь пока и приплыл, вот сейчас думаю, пока ни чего не приходит.. Но на 5 странице именно показано на схеме, что как будто через nfs имеет доступ как диску md оп сути и к lv2 передающему по айскази. Пока кка это можно концептуально это сделать не понял. Вот сейчас кое что в голову приходит HA. То есть если это позволит менять ip хостов с лучае потереи одно из них я прав ведь. В вса как раз такое. Так дальше остается точки монтирования, должны разные быть. На каждом хосте две точки монтирования для md0 и lv2 /host1, /host2. Вот HA и позволит ип подменить, а авто монтирование сделать? как пока не знаю. И еще вопрос не большой, возможен ли совместны доступ к lv2 он по айскази передается и смонтировать его /host2 что бы при этом было одинаковые данные можно было смотреть? то есть обязательно нужно кластерную файловую систему или нет? Помогите мне поправляйте ход моих мыслей, тема в реале мне интересна!!!