LVM на RAID или LVM RAID?

По моему опыту лучше использовать mdraid и LVM поверх него, а не lvm raid 1. Или использовать ZFS или BTRFS, там свои плюсы (впрочем, и нюансы).

Теоретически mdadm быстрее на чтении, если больше одного потока, т.к. задействует оба диска. В lvm чтение всегда с одного диска. Инфа не свежая, может что-то в lvm изменили к лучшему.

На домашнем железе разницу в быстродействии не заметишь, поэтому я бы рекомендовал lvm-raid1, т.к. его можно исп. только на важных LV, оставляя больше места для всякого разного, что можно скачать заново в случае поломки

Лучше делать raid и обойтись без lvm.

Пользуюсь lvm, всё нравится. Очень гибко всё, если для части данных не нужна избыточность - то можно сделать им том без raid. И потом переделать. Можно понавтыкать дисков разных размеров и всё равно собрать рабочий сетап. Для uefi можно оставить раздел с FAT за пределами LVM PV.

Я, конечно, не могу утверждать обратного, но всё равно не лишним будет узнать ПОЧЕМУ лучше делать так.

raid нужен для отказоустойчивости, а остальное ненужно т.к. не добавляет никакой значимой пользы, значит не надо зря усложнять конструкцию.

Для ESP RAID можно не делать, так как его легко «восстановить»

А название темы странное и непонятное так как lvm raid не поддерживает, он всегда на mdadm

lvm raid не поддерживает

4.2

Тут инструкция лучше https://wiki.gentoo.org/wiki/Raid1_with_LVM_from_scratch

# Создание физических томов
sudo pvcreate /dev/sdX1
sudo pvcreate /dev/sdY1

# Создание группы томов
sudo vgcreate raid0vg0 /dev/sdX1 /dev/sdY1

# Создание логического тома с RAID 1
sudo lvcreate --mirrors 1 -l 100%FREE -n raid0lv0 raid0vg0

Raid есть. Только непонятно что будет, если он развалится.

LVM поверх дисков даст возможность создавать как raid1 логические тома, так и raid0 логические тома.

Для загрузки UEFI надо каждый диск разбить на два раздела: ESP и LVM PV. Grub-efi установить на оба ESP.

raid нужен для отказоустойчивости

Не только. Но раз речь идёт именно о RAID-1, то помимо отказоустойчивости (которая крайне сомнительна, говорю как пострадавший от отказа RAID-10) оно ещё в некоторых сценариях скорости добавляет.

а остальное ненужно т.к. не добавляет никакой значимой пользы

Удобство управления томами/вольюмами — не последнее дело, на самом деле. В ZFS это сделано вообще легко и удобно, но в Linux её нет, и единственный надёжный вариант (передаём привет Btrfs, поминаем утраченные данные) это как раз LVM2. Не припомню чтобы админы Proxmox жаловались на конструкцию LVM2+mdadm, хотя я нескольких таки убедил мигрировать на ZFS, и они более чем довольны.

А по моему опыту лучше использовать LVM RAID для основного объема а MD для бута/эфи

Кучу раз разваливался и потом собирался обратно.

Это наш штатный нинужнист.

А что используется вместо mdmonitor?

Btrfs не разваливается. Он у меня годами на сервере (RAID-1 Btrfs)

lvm2-monitor не?

Спасибо.

Raid есть. Только непонятно что будет, если он развалится.

Я же в теме указал ссылку в которой ясно-понятно рассказывают как чинить разваленный raid

остальное ненужно т.к. не добавляет никакой значимой пользы

У LVM (LVM2) есть польза даже при домашнем использовании на ноутбуке. Например, миграция данных при апгрейде единственного накопителя менее напряжная. Фактически, после замены накопителя в основной машине и загрузке со старого накопителя через USB-переходник, можно продолжать использовать машину, пока миграция происходит в фоне. Разделы можно наращивать на ходу, опять-таки. Убирает боль от неидеального планирования.

Если ты для себя не нашёл плюсов использования LVM, это не значит, что их вообще нет.

Если RAID можно реализовать средствами LVM, то на фига плодить лишние сущности? Тем более, что управление на уровне логических томов более гибкое, которые надо — зеркалишь, которые нет — нет.

как его правильно сделать на lvm

Так же. Делаешь EFI раздел, остальное отдаёшь под физ. том LVM. (В качестве свопа, кстати, можно тоже логический том LVM использовать, необязательно отдельный раздел.)

ИМХО

1. Принципиальная разница будет одна - простота или возможности

• lvm поверх mdadm - простота. keep it simple. у тебя все LV будут с одним уровнем отказоустойчивости, ты это знаешь и больше не забиваешь себе голову
• lvm raid - больше фич. но когда ты решить проверить, что у тебя резервировано, а что нет, тебе придется это проверять

и все

2. ну разве что ещё не нужно совать в mdadm очень большие диски (10 Тб и больше). Очень долгая синхронизация, большая вероятность вылета диска из рейда. В принципе можно обойти тем, что разбить диски на партиции и делать рейды на частях диска

3. загрузочный том

Следом второй вопрос. А как это всё встанет на UEFI? Тут описывают как ПРАВИЛЬНО сделать uefi на raid, а как его правильно сделать на lvm…?

насколько я знаю, никак. Ты делаешь под загрузку отдельный том без lvm. Например, в начале диска небольшие партиции, их можно объединить в mdadm, но ИСКЛЮЧИТЕЛЬНО с metadata до версии 1.0 включительно (0.8, 0.9, 1.0). Т.к. метаданные должны размещаться в конце партции, чтобы рейд был незаметен для BIOS/UEFI

4. про lvm вообще

С большим опозданием я принял к сведению тот факт, что logical volume manager довольно-таки неплохой и его непременно надо юзать!

Это правильно, без него на сервере делать нечего. И не слушай firkax, он в admin потроллить заходит (не может же человек быть настольлко тупым)

5. про расширение

во втором у меня будет выигрыш вообще во всём. Я смогу увеличивать ещё и физическое место в будущем.

Вообще-то нет. Никакой разницы. В случае LVM ты в любом случае можешь добавить ещё диски в ту же группу. Не важно, используешь ли ты в качестве PV физический диск или RAID

6. Оффтоп. Для лабы загугли ещё lvm thin pool. Тебе понравится :)

Теоретически mdadm быстрее на чтении, если больше одного потока, т.к. задействует оба диска. В lvm чтение всегда с одного диска. Инфа не свежая, может что-то в lvm изменили к лучшему.

Не встречал такой информации. Скорее всего, это уже не актуально. Раньше в lvm был только type mirror, он работал через device mapper. Но потом добавили работу через код md-raid (type raidN). Т.е. через тот же ядерный модуль, что и mdadm

Проверь. Я N лет назад проверял. Чтение в два потока с mdadm шло с разных дисков (по iostat), а такое же чтение с lvm-raid1 оба потока читали с одоного диска (pv), второй pv простаивал.

Ну может это для скорости чтения придумано? Тут дело в отказоустойчивости. В процессе записи всё зеркалируется. Я правильно понимаю?
Ну то есть если мы сейчас запишем данные и следом отвалим один из дисков, последняя записанная инфа будет доступна?

Btrfs не разваливается.

Тебе повезло. Но статистически ты в меньшинстве. (=

Да, я фанбой ZFS, но стараюсь быть объективным. Btrfs очень капризна, чуть сбой и досвидонья. Пострадавших на одном только ЛОРе более чем достаточно. И ладно бы это были криворукие новички-экспериментаторы, но среди них есть и опытные админы, хостеры с большим опытом.

Справедливости ради, ZFS от хардварных сбоев тоже не защищает. Мне недавно пришлось восстанавливать данные с развалившегося RAID-10 (ZFS mirror+stripe). Чудом удалось вытащить всё.

отказоустойчивость одинаковая

но при прочих равных mdadm быстрее на чтении, при собл. опр. условий.

lvm гибче в настроках

я бы исп. только lvm, в нем есть всё

Например, миграция данных при апгрейде единственного накопителя менее напряжная.

Единственный накопитель это вообще напряжно, он может сдохнуть. Надо миррор, и мелкий бонус будет - мигрировать тоже будет просто. А ещё можно сделать миррор из одного диска безо всяких lvm и мигрировать с помощью него, ну и будет задел на случай таки доведения системы до нормального рейда.

Хотя вообще я ресайзу фс не очень доверяю, и если можно всё на время выключить - лучше сделаю новый раздел и перенесу туда файлы. Заодно, возможно, всякие ненайденные fsck ошибки (вдруг такие бывают) пофиксятся.

Судя по моему опыту - LVM RAID гибче, но LVM поверх RAID гораздо надежнее

В доках рассказано как восстанавливать. И да, там могут быть свои приколы, довольно неожиданные, если привык пользоваться mdadm где многие вещи чинятся автоматически в отличие от lvm raid