LINUX.ORG.RU
решено ФорумAdmin

Как лучше собрать программный RAID - на хосте виртуализации или внутри ВМ?

 , , ,


0

1

Доброго времени суток, ЛОР.

Главный вопрос в сабже, уточню вводную:

Есть сервер виртуализации, на котором крутится LXC-контейнер с samba-файлопомойкой. В этот контейнер смонтирован (bind mount) некий каталог с хоста. На хосте в этот некий каталог смонтирован soft-raid из двух дисков. Каким-то Кощеем уже попахивает, да?

Плюсы решения: можно использовать некий каталог во всех контейнерах одновременно и отвал файлопомойки повредит только тем, кто к ней подключен.

Минусы решения: можно использовать некий каталог во всех контейнерах одновременно :) никакого нормального разграничения прав у меня сделать не получилось, хотя с ACL я наплясался вдоволь.

Есть мысль поднять не контейнер, а нормальную виртуальную машину, которой отдать оба диска для файлопомойки и собрать raid уже внутри ВМ. Таким образом, практически исключаем влияние хоста. Стоит ли так делать? Какие тут могут быть подводные камни?

★★★★★

Тебе самому не кажется, что файлопомойка в виртуалке - не очень хорошее решение? Я понимаю еще, если бы ты гейт к хранилищу виртуализировал, но целиком...

stave ★★★★★
()

По идее, при использовании виртуализации уровня ОС оверхэдом можно вообще пренебречь, так что должно быть фиолетово.
Я обычно цепляю к LXC-контейнерам LVM-тома, и всё работает нормально.
Только есть нюанс: модули ядра нужно подгружать из хоста.

ArcFi
()
Ответ на: комментарий от ArcFi

Я как раз хочу уйти от виртуализации уровня ОС. А так, я ещё в OpenVZ монтировал всякое с переменным успехом.

dhameoelin ★★★★★
() автор топика

хм, а что там с оверхедом из-за работы с железом из гостя будет? Идея непривычная, да, ничего дикого вроде нет. Скорее всего, просто медленнее будет.

targitaj ★★★★★
()

Минусы решения: можно использовать некий каталог во всех контейнерах одновременно :)

Мнэээ... Ну так не используй, если это минус? Или это какой-то многоюзерский хост?

Я бы собирал рейд в любом случае на хосте, как-то это логичнее выглядит.

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)
Ответ на: комментарий от dhameoelin

Ты вместо 1 ос + одно железо, получаешь 2 ос с системой виртуализации + 1 железо. Точек отказа стало больше (причем глюк в ос словить проще железного), но принесло ли такое решение какие-то плюсы? Имхо - нет. У меня уже года полтора такая файлопомойка - сплошная головная боль, жду не дождусь новых винчей для переезда на отдельный сервер.

stave ★★★★★
()

В целях эксперимента, таки поднял raid внутри VM. Пока полёт нормальный. Тему закрываю.

dhameoelin ★★★★★
() автор топика

А как ты это будешь обслуживать? Ты не можешь перенести ВМ на другой хост, потому что ВМ жёстко привязана к дискам и их структурам. Чтобы заменить вышедший из строя диск придётся выключать ВМ, менять диск, пробрасывать новый диск в ВМ, из-под ВМ перенастраивать RAID.

ИМХО, это ерунда, так как это не виртуализация, а извращение.

Deleted
()
Ответ на: комментарий от Deleted

А как ты это будешь обслуживать?

Ну, для начала, я в решённую тему не буду писать. Но, таки отвечу:

Ты не можешь перенести ВМ на другой хост, потому что ВМ жёстко привязана к дискам и их структурам.

У меня один хост. Второго нет и не будет.

Чтобы заменить вышедший из строя диск придётся выключать ВМ, менять диск, пробрасывать новый диск в ВМ, из-под ВМ перенастраивать RAID.

Ты не поверишь, но мне придётся выключать ХОСТ. Остальные телодвижения на этом фоне меркнут.

dhameoelin ★★★★★
() автор топика
Последнее исправление: dhameoelin (всего исправлений: 1)
Ответ на: комментарий от dhameoelin

Ты не поверишь, но мне придётся выключать ХОСТ. Остальные телодвижения на этом фоне меркнут.

VM можно отправить в суспенд, хост нет. Так что разница очевидна.

anc ★★★★★
()
Ответ на: комментарий от dhameoelin
Ты не поверишь, но мне придётся выключать ХОСТ. Остальные телодвижения на этом фоне меркнут.

Ясно, обычный десктоп, а не сервер, без hotswap корзин. Тогда всё ясно и такое извращение укладывается в моё представление об админах локалхоста.

Deleted
()
Ответ на: комментарий от Deleted

Ясно, обычный десктоп, а не сервер, без hotswap корзин.

Почему так категорично? Сервер тоже может быть без hotswap корзин. У меня в стойке н-цать таких с софтрейдом. Не всегда время простоя критично.

anc ★★★★★
()
Ответ на: комментарий от anc
Сервер тоже может быть без hotswap корзин. У меня в стойке н-цать таких с софтрейдом. Не всегда время простоя критично.

Ясно, понятно. Нищеброд. Теперь вопросов совсем не имею.

Deleted
()
Ответ на: комментарий от Deleted

Ваще не смешно при учете что это proliant юнитовые, вы пробовали для старых (относительно) hp найти киты для hotswap ? Судя по всему нет, даже корзинки и то проблема. Например поиск корзинок для DL120G6 уже проблема.

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от Deleted

С такой категоричностью суждений, Вы, сударь, можете смело добавить меня в игнор и не утруждать Ваше Высочество ответами нищебродским админам самосборных локалхостов.

dhameoelin ★★★★★
() автор топика
Ответ на: комментарий от dhameoelin

Пф, не ведись. Дяденька админит сириоуз бизнес.

Ага «сириоуз» он такой «сириоуз» :)
671798-001 HP 10Gb mellanox connectx-2 PCIe 10gbe Ethernet nic (комментарий)
И сразу ниже
671798-001 HP 10Gb mellanox connectx-2 PCIe 10gbe Ethernet nic (комментарий)
И до кучи
Посоветуйте, куда перенести домены? (3 x .COM, 1 x .SU) (комментарий)

Я использую reg.ru. Бесплатный DNS-хостинг, бесплатное скрытие в whois личных данных, адекватные тарифы.

Очень впечатляет, серьезный дядька, че :)

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от anc

Да, пробовал. Брали клиенту 1-2 года назад для 360G5. Без особых проблем гуглятся в Москве, в СПб фирме торгующими б/у комплектующими. Если не нравится б/у, то при покупке нового диска HP, салазки в подарок.

Deleted
()
Ответ на: комментарий от anc

Ага «сириоуз» он такой «сириоуз» :)

671798-001 HP 10Gb mellanox connectx-2 PCIe 10gbe Ethernet nic...

И сразу ниже

671798-001 HP 10Gb mellanox connectx-2 PCIe 10gbe Ethernet nic...

И до кучи

Посоветуйте, куда перенести домены? (3 x .COM, 1 x .SU) (комментарий)

Вырвано из контекста. Обсуждалось б/у железо для локалхоста . Не вижу проблем, чтобы для своего домашнего локалхоста (за свои деньги) использовать б/у железо, если это оправдано.

Я использую reg.ru. Бесплатный DNS-хостинг, бесплатное скрытие в whois личных данных, адекватные тарифы.

Очень впечатляет, серьезный дядька, че :)

reg.ru использую для своего личного домена, не вижу смысла ради этого использовать собственный NS на базе BIND.

В контексте темы и моего ответа про hotswap, ещё раз повторяю, проблем не имею, если речь идёт про домашний и уютный локалхост (извращайтесь как хотите, только делайте это без широкой огласки). Но в контексте компании, серверы без hotswap, сюда же можно добавить модуль удалённого управления, это всё лишняя трата времени на поддержку и ненужная головная боль для системного администратора. Компания сэкономила денег при покупке, но теперь сисадмин будет за это расплачиваться своим временем. Ведь, чтобы заменить диск, при hotswap требуется 5 минут, а без hotswap - не меньше часа (согласование окна, которое обычно в нерабочее время, выключить сервисы и серверы, заменить диск, не перепутать с другими дисками, сервер включить, проверить работу RAID и запущенных сервисов).

Deleted
()
Ответ на: комментарий от Deleted

Чтобы заменить вышедший из строя диск придётся выключать ВМ, менять диск, пробрасывать новый диск в ВМ, из-под ВМ перенастраивать RAID.

ну что за чушь! kvm позволяет на горячую заатачить физический диск, том lvm, raw или zvol, и заменить находу в виртуалке диск массива не проблема, если на борту хоста саташные диски никакие хотсвапы не нужны, сата прекрасно подключаюся нагорячую без всяких железных приблуд

не можешь перенести ВМ на другой хост

в случае с zfs не проблема

vxzvxz ★★★
()
Ответ на: комментарий от dhameoelin

перенести vm с массивом на другой хост можно, заменить на горячую диск в массиве внутри виртуалки можно

vxzvxz ★★★
()

могут быть подводные камни?

камни есть, виртио дрова не могут переинициализировать уже подключенные диски, добавить в виртуалку нагорячую новый диск можно, а вот изменить параметры существующего не получиться (в случае если это том lvm или zvol) ну и само собой у виртуалки меньше возможностей для кеширования дисковых операции ввода-вывода

vxzvxz ★★★
()
Ответ на: комментарий от dhameoelin

горячее подключение сата в линукс - https://ru.wikibooks.org/wiki/Настольная_книга_по_Linux

раздел Горячее подключение дисков SATA

проброс диска в vm на ходу:

virsh attach-disk pxe32 /var/lib/libvirt/images/img.raw vdc

vxzvxz ★★★
()
Последнее исправление: vxzvxz (всего исправлений: 1)
Ответ на: комментарий от stave

Ты имел в виду сложнее, или я чего-то не понимаю сейчас?

anonymous
()
Ответ на: комментарий от vxzvxz

Человече, тема решена. Узбагойзя.

dhameoelin ★★★★★
() автор топика
Ответ на: комментарий от Deleted

Брали клиенту 1-2 года назад для 360G5.

1. Все-таки 2 года назад и 360-й != 120-й (я в августе прошлого года без проблем корзинки с хардами для 380G5 покупал)
2. Так брали чего: корзинки или кит?

Если не нравится б/у, то при покупке нового диска HP, салазки в подарок.

No, для чуть более старых моделей их просто нет (я про корзинки). Для тогоже DL120G6 в ноябре прошлого года найти можно было, но уже с трудом, многие просто отказывали хотя по инету у них в прайсах они фигурируют. емнип на оф сайте hp их уже нет, давно сняли с производства и забыли.

Компания сэкономила денег при покупке, но теперь сисадмин будет за это расплачиваться своим временем.

Естественный исторический фактор. Но это же не повод выкидывать на помойку и покупать новый за мнооого денюшек.

Ведь, чтобы заменить диск, при hotswap требуется 5 минут, а без hotswap - не меньше часа
- не меньше часа

Вы видимо как-то ооочень вдумчиво меняете, с несколькими перекурами попутно. Или у вас в серверной помойка и заодно со сменой харда и сервак продуваете. В норм условиях это 15-20 минут.

согласование окна, которое обычно в нерабочее время, выключить сервисы и серверы, заменить диск, не перепутать с другими дисками, сервер включить

Кажется тут возникло не понимание, я выше писал что «Не всегда время простоя критично.» чаще это 1u двуххардовые серваки, т.е. чего-то суперпупер на них и не крутиться. А фраза «в нерабочее время» вообще смешна, вы случайно не с 8 до 17 работаете?

anc ★★★★★
()
Ответ на: комментарий от Deleted

reg.ru использую для своего личного домена, не вижу смысла ради этого использовать собственный NS на базе BIND.

Так и запишем: «Ясно, понятно. Нищеброд. » (с) WiZ_Ed

anc ★★★★★
()
Ответ на: комментарий от anc

2. Так брали чего: корзинки или кит?

Корзины.

No, для чуть более старых моделей их просто нет (я про корзинки). Для тогоже DL120G6 в ноябре прошлого года найти можно было, но уже с трудом, многие просто отказывали хотя по инету у них в прайсах они фигурируют. емнип на оф сайте hp их уже нет, давно сняли с производства и забыли.

Актуальной информацией не владею, но допускаю что такое возможно. Потому что копроэкономика и это HP. В этом плане мне нравятся сервера Intel. Конечно HP, Dell, IBM хороши, но только когда есть контракт на поддержку.

Вы видимо как-то ооочень вдумчиво меняете, с несколькими перекурами попутно. Или у вас в серверной помойка и заодно со сменой харда и сервак продуваете. В норм условиях это 15-20 минут.

У нас есть один такой клиент, где при покупке сэкономили на hotswap, с такими работаем по плану, так как опыт большой и есть печальные моменты:

1. Пишем план работ, что как выключаем, проверяем, меняем;

2. Согласование с клиентом;

3. Перед работами проверяем актуальные бэкапы;

4. Гасим ВМ и сервер;

5. Меняем аккуратно винт;

6. Запускаем сервер;

7. Проверяем работу.

Никак в 20 минут не сделать, если только на авось положиться.

Кажется тут возникло не понимание, я выше писал что «Не всегда время простоя критично.» чаще это 1u двуххардовые серваки, т.е. чего-то суперпупер на них и не крутиться. А фраза «в нерабочее время» вообще смешна, вы случайно не с 8 до 17 работаете?

С 10 до 19, как и большинство наших клиентов. Если вас дома никто не ждёт, то ваше право сидеть на работе до победного. А лично у меня в жизни не только работа.

Deleted
()
Ответ на: комментарий от Deleted

2. Так брали чего: корзинки или кит?

Корзины.

Так вот попробуйте еще и киты найти, нет их :(

Со всем остальным согласен, спасибо пояснили.

anc ★★★★★
()
Ответ на: комментарий от Deleted

Рабочий сервак не? :) У меня мои личные на нем, так же как и почта. Но если припрет можно и на домашний перекинуть, не особо большая проблема два прова оба с статиком.

anc ★★★★★
()
Ответ на: комментарий от anc

Работаете у хостера что ли?

У меня есть кладовочный сервер, но в мои планы не входит возня с BIND. Так же мне неинтересна возня с postfix/exim и прочими почтовиками, поэтому использую fastmail, которого мне хватает. Каждый должен заниматься своим делом и делать это хорошо.

Deleted
()
Ответ на: комментарий от Deleted

Работаете у хостера что ли?

No. Но 100-ки на офис хватает :)

У меня есть кладовочный сервер, но в мои планы не входит возня с BIND.

Рекомендую почитать доки, там полтора действия. «возни» там нет :)

Так же мне неинтересна возня с postfix/exim и прочими почтовиками

Ну это отдельная песня. Если не поднимали ранее то безусловно тяжеловато. Тут уж как вопрос стоит, если вас не парит тот факт что ваши письма у «дяди» будут и не пугает момент «потери», то конечно хостинг прокатит.

anc ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.