qcow2 vs raw

Да.

Топик написан так, как будто основная цель этих виртуалок - создание бэкапов самих себя.
По сути: нет. А вообще - написал бы хоть, как именно «делается полный бекап на одной из виртуальных машин».

Нет. Нагрузка не изменится. Никак. Ну разве на пару процентов увеличится только, ибо qcow2 - это ещё одна абстракция. В твоём случае, надо выкидывать кусок какашки в виде:

Soft Raid mdadm level 5 (4 disk)

И делать из них RAID 10, потеряешь в дисковом пространстве, зато выиграешь в производительности.

И да: а какого объёма у тебя диски? Если больше полутора террабайт, то имей ввиду: что в случае поломки одного из дисков, данные ты с вероятностью 99 процентов потеряешь. Ибо на таких объёмах, восстановление будет маловероятным.

Какая система виртуализации?

Если kvm, тогда образ диска виртуалки должен подключаться через virtio, чтобы снизить оверхед.

Вообще, для чего сервер бэкапов держать в виртуалке?

У меня на сервере бэкапов вместо mdadm используется brtfs-raid со сжатием, полет нормальный.

Всем спасибо за ответ.

1. У меня используется KVM

2. К сожалению я вынужден держать бекап север в виртуалке потому что нет возможности закупить отдельное железо под это, а отдать всю машину только под один сервер бекапов как то не очень. У нас много сервисов, каждый из них, нужно резервировать, виртуализация хорошее решение, если б был нормальный аппаратный рейд и повесить эту виртуалку на отдельный массив проблем бы не было.

В общем коллеги тут вопрос в том как снизить нагрузку на дисковое подсистему. У формата qcow2 немного меньше скорость записи зато это родной формат для KVM, может все таки стоит попробовать.

Спасибо

Использую raw, для бекапа - ZFS.
Не замечал высокой нагрузки во время бекапа.
https://github.com/poiuty/lepus/blob/master/kvm/vm/backup.sh

В общем коллеги тут вопрос в том как снизить нагрузку на дисковое подсистему. У формата qcow2 немного меньше скорость

Скорость меньше не случайно, а из-за того, что qcow* работает через дополнительный уровень абстракции — файловую систему. Поэтому после перехода на qcow2 скорость повыситься не может.

Можешь попробовать:

1. Проверить разные результаты изменения (через virsh edit) параметра disk>driver>cache, работает только после перезапуска ВМ.

2. man virsh -> /blkiotune (weight, device-*-iops-sec, device-*-bytes-sec) - принудительно ограничишь приоритет, количество/с или скорость/с дисковых операций, с --live работает сразу, с --config можно зафиксировать в конфиге после проверки.

Ты когда говоришь raw, вероятно все же имеешь ввиду файл в формате raw.

У меня для тебя плохие новости, надо использовать lvm (raw+virtio+cache=none) в качестве диска для виртуалки.

ZFS не предлагаю, слишком много рессурсов для нее надо, а вы и так на железо денег не имеете.

данные ты с вероятностью 99 процентов потеряешь

Очень спорное утверждение. Ну будет ребилд идтить пару суток, да, есть шанс что за это время помрёт второй диск. Но этот шанс не очень велик, а тебя почитать так выходит что это вообще гарантированно произойдёт.

Дома помойка на 4х3тб рейд 5 уже очень давно - проблем не имею, данные при ребилде ни разу не терял.

Зы: А так рейд5 говно, да, в энтерпрайзе нигде бы использовать не стал.

Зы: А так рейд5 говно, да, в энтерпрайзе нигде бы использовать не стал.

Ну и я про тоже. И чтобы не просто вот так вот в воздух голословить, я привёл пример, почему оно плохо, это во-первых, а во вторых, я читал много умных статей на тему RAID-5, ты знаешь, я сейчас не найду сходу ссылок, но смотри какая идея: не только, и не столько дело в том что:

есть шанс что за это время помрёт второй диск

А в другом, смотри, есть такой показатель у НЖМД как:

Неисправимых ошибок чтения/прочитанных бит:	1 ошибка на 10E14 (10 в 14-й степени) бит 

Так вот, умные дяди пишут, что при ребилде, вовсе не обязательно выходить диску из строя, скорее вы наткнётесь на ошибку чтения, после чего рейд рискует превратиться в тыкву.

P.S. я не утверждаю, что это прям вот так всё плохо. Но вообще говоря, склонен доверять этой информации.

Не покупай говно-сата и можно спать спокойно, у сас этот показатель 10^16 и я вполне себе использую рэйд5 там где это уместно.

А в другом, смотри, есть такой показатель у НЖМД как:

Это понятно, но это сферический конь в вакууме. Если так подумать - то просто при чтении с массива скольких-то терабайт данных должна вылезать ошибка чтения и рейд разваливаться. Но на деле этого не происходит.

Могут быть какие-то битовые ошибки в файлах, но на деле они практически не обнаружимы и не особо мешают - ну изменит один пиксель цвет на фоточке :) Если ошибка попала на архив, то там, скорее всего, есть некоторая избыточность кодирования.

В общем, при некоторой осторожности, рейд5 вполне юзабелен. У меня массив из 24 дисков 1Tb, правда на RAID6, живёт уже лет, наверное, шесть. Дисков там передохло процентов 40-50, но массив ни разу не развалился. А пишется и читается с\на него огромное количество данных.

На деле тоже происходит, но ты этого не заметишь, пока это не произойдёт при ребилде, когда чётность неоткуда считать будет, тогда и превратится рэйд в тыкву.

пока это не произойдёт при ребилде, когда чётность неоткуда считать будет, тогда и превратится рэйд в тыкву.

А почему рейд должен развалиться? Ну неправильно восстановят один блок, в чем катастрофа?

Да не развалится ничего, рейд-контроллер сектор ещё раз перечитает и всё. На крайняк будет один битый сектор и всё. 10^12 это сто терабайт всего. У меня на некоторых серверах столько пишется и\или читается ну, допустим, за пару месяцев. При такой ошибке у меня рейд должен был бы перейти в degraded режим. Но что-то, собака, работает.

А всё от того, что это сферический конь в вакууме, как и показатель MTBF в миллион часов.

А почему рейд должен развалиться?

Потому что у тебя уже вылетел диск, всё уже держится на честном слове, воткнул ты новый диск и пошёл ребилд в процессе чего постоянно читаю данные с дисков, считают чётность и пишут на новый.

Ну неправильно восстановят один блок, в чем катастрофа?

Так вот если в процессе ты словишь URE, то никакого чуда не произойдёт - у тебя так и останется тыква.

Сообщение перечитай, обрати внимание на слово «ребилд» и подумай ещё раз. Что там в процессе происходит и что будет, когда ты поймаешь URE? Hint: URE(Unrecoverable Read Error) - unrecoverable от слова совсем и BER не 10^12, а 10^14 у сата и 10^16 у сас.

рейд-контроллер сектор ещё раз перечитает и всё.

Рэйд-контроллер пометит этот диск по tler как ещё один битый и всё.

Боюсь, что если во время перестроения массива случится URE - RAID, развалится. Да и опять-же, RAID-5, на больших объёмах будет пересобираться весьма долго, что повышает опасность, как программного сбоя, так и сбоя по питанию.

а вроде, говорят, опция мэп сильно ускоряет ребилд

В любом случае, когда RAID5 пересобирается, он настолько медленный, что ужас-ужас, в этом плане RAID-10, много приятнее, конечно.