Кто может посоветовать как «разгрузить» SD-карты, на которых стоит Host-система? Чтобы они через полгода не подохли. Выносить /var/log на LV RAID-массива, монтировать все ФС с noatime, кто что скажет?

http://help.ubuntu.ru/wiki/ubuntu_на_usb

4. Хочешь ovirt - ставь центось/Федору. Если тебе ovirt не нужен - Ubuntu с головой хватит.

Ubuntu с головой хватит.

и пофигу,. что она не грузится с деградированного рэйда

1. a

просто потому что так появляется возможность использовать фичеры LVM - перебазирование, снепшоты, размеры и т.п. Если не писать собственный модуль или не использовать oVirt/RHEV на LVM не получится делать тонкие диски. Ну и на LVM все работает немного шустрее

2.а - есть куча вариантов, от снимков на уровне LVM и до qcow2 snapshots. С возвратом назад без отключения тоже есть как минимум два варианта - blockpull и blockcommit. Все это функционал libvirt и qemu-img, который очень рекомендуется изучить как следует.

2.b - если использовать LVM то снимок будет на отдельном LV или будет внутренним, т.е. включенным в основной образ. гуглить qemu internal and external snapshots. Если пользовать файловую систему то опять же, или все в одном файле или в соседнем

3. выделить под /var отдельный кусок массива

4. для oVirt есть два варианта - AllInOne, когда на хосте ставится управлялка и гипервизор, или Self Hosted Engine, когда управлялка заливается на хост как VM. Если планируется полноценная установка - со стореджем и несколькими (от единиц до тысяч) хостами то оVirt это самое то, но если все всегда не выползет за пределы одной машины, то oVirt может оказаться перебором, и virt-manager достаточно

без овирта нет темплейтов без них неудобно, овирт сложен в начальной настройке для неопытных админов, хотя бы отсутствием переведённой документации в отличии от citrix, мне на канале федоры про овирт человек столько страшилок рассказал, теперь буду разбирать, что из сказанного им вымысел.

Кто может посоветовать как «разгрузить» SD-карты, на которых стоит Host-система?

всё что можно перенести в tmpfs + использовать не «абы какие» SD-карты

переведённой документации

Каждый уважающий себя технический специалист должен знать английский хотя бы на уровне чтения документации.

3. выделить под /var отдельный кусок массива

Почему именно /var?

темплейты в овирте это просто копии VM под отдельной панелью, из которых можно или снепшотить или клонировать VM. Руками можно делать то же самое, просто не так красиво.

Интересно кто это страшилки рассказывает

обычно там больше всего операций, особенно с ротацией логов. хотя конечно своп и tmpfs тоже не без того.

на самом деле, SD карточки сейчас такие дешевые что имхо вообще пофиг.

Недавно задавал вопрос Как эффективнее всего заюзать SSD на 32GB (изначально под кеш) в онтопике?

Возможно там тоже стоит /var вынести на отдельный раздел?

RAID 6

Это очень медленно. Делай или 10, или два зеркала, и на них - LVM stripe (вообще, второй вариант кажется мне наиболее надёжным, всегда так делаю).

Я пока сам не знаю нужен ли мне оВирт или нет, но пока в вирт-менеджере меню снапшотов не активно и не могу понять на что грешить. Насчет ЦентОСи, то лучше сразу сделать «как положено», чем потом я или кто-то вместо меня будет плеваться. Тем более, не думаю, что будут сложности поднять заново на ЦентОСи.

Что понимается под «с деградированного рэйда»?

1а. «Тонкие диски», есть под рукой ссылка? Есть ли еще какие-нить ограничения при использовании ЛВМ в качестве пула? Даже, если достоинства перевешивают недостатки, все таки хочется узнать об этих недостатках.

2а. Понял

2b. Если принципиальная разница использования (создания, хранения, отката) снапшотов при LVM и тем же ФС и qcow2? То есть если использование снапшотов важно, то влияет ли это на выбор вида пула в виде LVM или ФС?

3. Насчет выделить полностью /var в отдельный раздел. Подумаю, но немного смущает. Просто, если кто-то случайно удалить через тот же virt-manager этот раздел (есть ли вообще возможность спрятать от него некоторые LV?), то это минимум простой. С потерей /var/log проблем должно быть меньше (это не из опыта, он пока мал у меня, это из чтения форумов).

4. Насчет дальнейшего расширения, то пока думал на старых машинах снести XenServer'ы, так же настроить KVM и попробовать настроить дублирование или миграцию «на всякий случай», также есть желание сделать и подключить NAS или даже SAN.

Английский не на высоте, но сильных проблем с пониманием и настройкой не испытывал.

а что можно и что нельзя переносить в tmpfs (по ссылке выше пока не ходил, завтра на работе займусь чтением). SD-карты «абы какие» - Kingston из магазина, покупать DELL'овские не стали.

Там хоть обе карты в зеркале, но при выходе из строя одной это потеря времени.

Подкачку на хост-системе на SD-картах не подключал.

После XenServera на обычной рабочей машине с 4-мя SATA винтами в том же RAID 10, этот RAID побыстрее будет, да и у нас там крутятся в основном инфраструктурные серверы (LDAP, proxy, samba и пр.) и дисковая нагрузка небольшая. Возможно, дальше будем поднимать серверы с базами данных, но это для «попробовать, потестировать, поучиться» не более.

Я сейчас может и глупость скажу, но все же. С ZFS не работал, но ее часто приподносят как серебряную пулю, а так как с её поддержкой в Линуксе трудности, то теоретически возможен ли следующий вариант и если да, то в чем его абсурдность?

1. Пул создаем как физический диск (в нашем случае массив) 2. В качестве гостя ставим, допустим, тот же nas4free и отдаем ей массив 3. Подключаем к хосту nas4free уже как SAN

1а. «Тонкие диски», есть под рукой ссылка? Есть ли еще какие-нить ограничения при использовании ЛВМ в качестве пула? Даже, если достоинства перевешивают недостатки, все таки хочется узнать об этих недостатках.

это вроде как единственный недостаток, хотя некоторые считают управление lvm более сложным чем фс. линк: http://en.wikipedia.org/wiki/Thin_provisioning

2b. Если принципиальная разница использования (создания, хранения, отката) снапшотов при LVM и тем же ФС и qcow2? То есть если использование снапшотов важно, то влияет ли это на выбор вида пула в виде LVM или ФС?

это зависит от того как именно будут использоваться снепшоты. если 1) снял снепшот 2) накатил апдейт 3) проверил что все нормально 4) откатился или принял изменения, то без разницы. Если надо держать цепочки снепшотов, то только qcow2. в любом случае, снепшоты бьют по скорости доступа к дискам, и чем длиннее цепочка тем тяжелее становится дисковой подсистеме, так что постоянно работать на цепочке снепшотов вместо плоского диска не рекомендуется ни одним из вендоров виртуализации

3. Насчет выделить полностью /var в отдельный раздел. Подумаю, но немного смущает. Просто, если кто-то случайно удалить через тот же virt-manager этот раздел (есть ли вообще возможность спрятать от него некоторые LV?), то это минимум простой. С потерей /var/log проблем должно быть меньше (это не из опыта, он пока мал у меня, это из чтения форумов).

надо просто не работать от рута, и другим не давать. плюс хорошие бекапы - и проблем не будет.

4. Насчет дальнейшего расширения, то пока думал на старых машинах снести XenServer'ы, так же настроить KVM и попробовать настроить дублирование или миграцию «на всякий случай», также есть желание сделать и подключить NAS или даже SAN.

«есть желание» и «я проектирую виртуальный ЦОД» - очень разные вещи. так что откройте тему когда будет конкретика - попробуем помочь

разве они не меняются на лету? какая модель сервера?

ты упомянул ZFS на ЛОРе, теперь держись...

qcow2 верхом на zvol для kvm без кеша.

Читай с конца, но вывод: zfs для kvm не нужен.

Вот как раз с ZFS и был отличный опыт использования KVM, и я бы рекомендовал к использованию.

Он тег не поставил, может пронесёт)

3. Насчет выделить полностью /var в отдельный раздел. Подумаю, но немного смущает. Просто, если кто-то случайно удалить через тот же virt-manager этот раздел (есть ли вообще возможность спрятать от него некоторые LV?), то это минимум простой. С потерей /var/log проблем должно быть меньше (это не из опыта, он пока мал у меня, это из чтения форумов).

Я вообще не понял - у вас в админке проходной двор или работают только люди, знающие что они делают? Если проходной двор, то риск лишиться /var ничем не отличается от риска лишиться остальных разделов.

Ты ZFS можешь использовать прямо on linux

Что понимается под «с деградированного рэйда»?

Куда уж понятнее?

У него аппаратный рейд, какая в жоPU разница системе до его состояния?

У него аппаратный рейд, какая в жоPU разница системе до его состояния?

Что-то этого не видно, а с программным вот такие «нюансы по кузову».

После XenServera на обычной рабочей машине с 4-мя SATA винтами в том же RAID 10, этот RAID побыстрее будет, да и у нас там крутятся в основном инфраструктурные серверы (LDAP, proxy, samba и пр.)

При интенсивном io (нагруженная samba та же) на raid6 будет тормозилово, даже на аппаратном контроллере. К тому же, в случае выхода контроллера из строя (и отсутствия запасного) придётся заняться выдёргиванием волос на жопе. В случае raid1 половинки зеркала можно просто воткнуть в мать, и всё будет работать без дополнительных телодвижений (в случае с lvm по крайней мере).

снимки работают и работают ли вообще аналогично XenServer'у?

снимки есть и работают они везде одинаково.

Если принципиальная разница использования (создания, хранения, отката) снапшотов при LVM и тем же ФС и qcow2?

и у lvm и у qcow2 для создания снапшотов используется механизм cow

то влияет ли это на выбор вида пула в виде LVM или ФС?

виртуалки на томах шустрее в работе, но тормозят на снапшотах.

Читай с конца, но вывод: zfs для kvm не нужен.

что в корне не верно.

перед тем как придти к zfs, я бы ему рекомендовал испытать на себе все радости от родных linux решений.

виртуалки на томах шустрее в работе, но тормозят на снапшотах.

Подробнее?

Читай с конца, но вывод: zfs для kvm не нужен.

что в корне не верно.

Лорчую

log я бы перенёс. Карты Sandisk Extreme Pro вроде надёжные, третий год система на такой пашет.

это вроде как единственный недостаток, хотя некоторые считают управление lvm более сложным чем фс. линк: http://en.wikipedia.org/wiki/Thin_provisioning

как я понял это а-ля динамический диск в VirualBox'е. Интересно, а другой стороны медали у этого «тощего резервирования» нет? Например, в виде фрагментации или она (вторая сторона) незначительна?

это зависит от того как именно будут использоваться снепшоты. если 1) снял снепшот 2) накатил апдейт 3) проверил что все нормально 4) откатился или принял изменения, то без разницы. Если надо держать цепочки снепшотов, то только qcow2. в любом случае, снепшоты бьют по скорости доступа к дискам, и чем длиннее цепочка тем тяжелее становится дисковой подсистеме, так что постоянно работать на цепочке снепшотов вместо плоского диска не рекомендуется ни одним из вендоров виртуализации

Значит все более склоняюсь к LVM, хотя мне пока в virt-manager не удалось, без предварительного создания диска, создать гостя, иначе он создает мне не lv, а *.img. Хотя, скорее всего, я что-то сделал не так.

надо просто не работать от рута, и другим не давать. плюс хорошие бекапы - и проблем не будет.

Как я понял, в virt-manger, если пользователь может создавать разделы для гостей, то он так же легко и удаляет их и не только свои. Надо разобраться с PAM.

«есть желание» и «я проектирую виртуальный ЦОД» - очень разные вещи. так что откройте тему когда будет конкретика - попробуем помочь

Спасибо.

разве они не меняются на лету? какая модель сервера?

Даже не знаю. Сервер Dell R720. Там прежде, чем вставить карту, я должен вытащить PCI-карту. И как бы делать это на живую...

Вот как раз с ZFS и был отличный опыт использования KVM, и я бы рекомендовал к использованию.

А есть описание? Как все было организованно?

Я вообще не понял - у вас в админке проходной двор или работают только люди, знающие что они делают? Если проходной двор, то риск лишиться /var ничем не отличается от риска лишиться остальных разделов.

А кто не делает ошибок? Если от внедрения нового выгода меньше, чем вероятность порчи, то лучше не внедрять. Я только начал изучать и пока не увидел способ разграничения прав на lv гостей, возможно, еще не дошел до этого.

Ты ZFS можешь использовать прямо on linux

Но как понимаю, FreeBSD лучше заточена под использование ZFS?

У него аппаратный рейд, какая в жоPU разница системе до его состояния?

Так точно. RAID 1 из 2-х SD-карт под хост-систему RAID 6 из 6-ти SAS под LVM для гостей

А есть описание? Как все было организованно?

Что именно тебя интересует?

А кто не делает ошибок? Если от внедрения нового выгода меньше, чем вероятность порчи, то лучше не внедрять. Я только начал изучать и пока не увидел способ разграничения прав на lv гостей, возможно, еще не дошел до этого.

Вообще не понял какое это имеет отношение конкретно к /var

Но как понимаю, FreeBSD лучше заточена под использование ZFS?

Оно там есть нативно, но ZOL вполне достаточно для твоих задач.

При интенсивном io (нагруженная samba та же) на raid6 будет тормозилово, даже на аппаратном контроллере. К тому же, в случае выхода контроллера из строя (и отсутствия запасного) придётся заняться выдёргиванием волос на жопе. В случае raid1 половинки зеркала можно просто воткнуть в мать, и всё будет работать без дополнительных телодвижений (в случае с lvm по крайней мере).

У Вас есть ссылка, где можно увидеть заметное или даже критичное «тормозилово» RAID 6 перед RAID 10 из 6 и более винтов? Насчет выхода из строя контроллера, то поэтому и хочу критичные сервисы дублировать на другом а-ля сервере (обычная рабочая станция), а вот терять половину ёмкости винтов желания нет.

перед тем как придти к zfs, я бы ему рекомендовал испытать на себе все радости от родных linux решений.

Вы используете ZFS? На Linux'e или во FreeBSD?

по zfs: спроси не надо ли тебе сменить или вовсе отказаться от аппаратного рейд-контроллера, сколько РАМ отдать под кеш зфс, как не заполнять зфс более 80% чтобы избежать снижения скорости из-за фрагментации и пр. прелести

и спроси почему контрольные суммы не спасают от порчи файлов при аппаратных сбоях компа.

Что именно тебя интересует?

Как организован pool на ZFS? Отдельно в виде NAS или на на хост-системе в виде ZOL? В каком формате создаются гостевые машины? Как организованы shapshots и откаты?

Вообще не понял какое это имеет отношение конкретно к /var

Я выше писал, что в virt-manager любой, кто имеет доступ на создание, так же имеет доступ и на удаление любого lv из vg, отданного KVM в виде пула. То есть, virt-manager так же может удалить lv, отданный хостовой системе под /var. А так как вероятность ошибиться и удалить этот lv, выше, чем приход от его вынесения на отдельный lv, то лучше выносить только /var/log, как-то так.

Оно там есть нативно, но ZOL вполне достаточно для твоих задач.

Хорошо, почитаю.