JBOD для домашней файлопомойки

на лвм можно делать raid-1 для отдельных LV поверх двух PV

Так и не понял, тебе посочувствовать, или тебя поздравить?

Да я сношал такое. Сделал RAID1 на mdadm, да и все тут. Доедут два диска еще, будет другой RAID1, а LVM будет на него расширен.

Про zfs и btrfs тоже слышал, комбайны не нужны.

Наивно надеюсь на облачное хранилище. Некоторые данные дублируются на диске где-то дома, но такой диск наверняка быстрее размагнитится / потеряется / не найду к чему его подключить через 10 лет, интерфейсы меняются.

А что тебе нравится больше.

Кой-чего у меня и по облакам рассовано. Больше бекапов, хороших и разных!

Я на рейде уже лет 10 сижу, тоже в своё время долго думал что это всё избыточно пока в один прекрасный момент в одну секунду не сдох Seagate ST3000DM001. Просто посреди работы резко затрещал головками и сдох в течении пары секунд. Известная проблема этих дисков. И никаких симптомов до этого не было, что самое главное.

Так что рейды однозначно нужны. И «холодные» бекапы тоже, но это совсем другая история.

на лвм можно делать raid-1 для отдельных LV поверх двух PV

У DM нет RAID, это сахар (кислогорький) поверх MD.

Зачем этот дроч ?

Если ты называешь файлопомойкой место, где хранишь наиболее ценные данные - то ты ССЗБ.

Если же тебе нужно хранить наиболее ценные данные - ты их можешь просто раскидывать по крону через rsync в разные места, включая какой-нибудь днищебродский VPS с большим диском.

LVM2 тебе было не влом настраивать, а cp -rpv /mnt1/docs /mnt2/docs влом ?)

У меня например на той штуке что зовется сервером, ценные данные (их от силы 500 Мб) синкаются при подключении флешки в USB.

У меня WD был просто уехали головки.
Никаких LVM или RAID.
Медленно и аккуратно считал данные (раз в 10 попыток читалось, не помню, чем копировал под виндой с ex3fs), сохранил на новом. Надеюсь, в будущем также «посыпется».

Почему не raid 10?

Сейчас я вижу RAID10 как увеличение сложности без профита. Чем оно лучше двух массивов по RAID1? (два диска на 8 Тб, два на 12, в устройство влезает 4 диска всего)

При моем сетапе из каждого массива может умереть один диск, и оно счастливо дождется замены.

При моем сетапе из каждого массива может умереть один диск, и оно счастливо дождется замены.

А если умрет комп - на другом компе этот сетап можно восстановить ?

А я вот думаю на ленту бэкапиться.

<Первоее сообщение темы>

Про zfs и btrfs тоже слышал, комбайны не нужны.

Сразу видно эксперта в файлохранении! Буду с нетерпением ждать пока ты наступишь на вторые грабли - не отказ оборудования, а логическую ошибку :D

LVM не нужен когда есть халяльный ZFS.
И в отличии от ТС, со своими предрассудками, на ZFS данные никогда не терялись. Со временен, когда его ещё в линуксе небыло.
Но да, комбайны не нужны, лучше взять 2-3-N+1 софта для выполнения одной единственной задачи. Ага.

на ZFS данные никогда не терялись.

Терялись, есть истории «успеха». Инженеры сана тоже делали ошибки. =)

а зачем лвм? одного рейда чому не хватат?

Про zfs и btrfs тоже слышал, комбайны не нужны.

Наоборот. Для хранения важных данных ФС без чексумм не нужны.

Потому что я планирую две штуки рейда, например

Ну да, це ж mdadm, он всюду одинаков. Это не аппаратный или полуаппаратный рейд же ж.

btrfs у меня каждый долбанный раз терял данные. Потом мне надоело. Возможно, его уже исправили, но я не верю.

Морали у сказочки нет.

сочувствую.

говорили

тебе надо пересмотреть круг общения на технические темы. и вообще что здесь обсуждать? пошел и читаешь. а ты очередной тред советов создал.

DM и mdraid используют одну и ту же реализацию raid в ядре. Модуль DM, реализующий эту функциональность, так и называется: dm-raid.

dmsetup create dmraid1 --table '0 2147483648 raid raid1 3 0 region_size 1024 2 - 8:0 - 8:16'

соберёт RAID из двух дисков (/dev/sda и /dev/sdb) размером в 1TiB.

При этом в системе не будет создано блочных устройств /dev/mdX.

В чём же заключается «кислогорькость»?

Ну да, це ж mdadm, он всюду одинаков. Это не аппаратный или полуаппаратный рейд же ж.

Никогда не сталкивался. Раньше ради интереса игрался с интеловым рейдом, который через биос. Взял винт который в моем понимании, должен был быть «зеркалом», подключил на другой комп - не читаецо. Подключил обратно - родная утиль тоже не увидела, хотя низкоуровнево вся инфа читалась с него нормально. А из опций никаких «restore», а только «create». Плюнул на это задротство.

ну вот у меня два первых рейда и никаких лвм, дальше что?

Без LVM такие конструкции придётся планировать заранее. С LVM и прочими похожими конструкциями на базе device-mapper можно хоть каждый день создавать/удалять LV с разными параметрами резервирования, например raid1 для важных данных, никакого raid для обычных, raid0 для временных.

DM и mdraid используют одну и ту же реализацию raid в ядре. Модуль DM, реализующий эту функциональность, так и называется: dm-raid.

MD - это и есть RAID. А тот факт, что исходники MD и DM обитают в одном каталоге, добавляет только путанницы. Когда-нибудь их разнесут. Переименовывать в понятные имена уже начали, по-крайней мере.

The device-mapper RAID (dm-raid) target provides a bridge from DM to MD. It allows the MD RAID drivers to be accessed using a device-mapper interface.

dmsetup create dmraid1

Это единственный RAID в DM, у которого есть собственная реализация. Ну, ещё RAID0, который stripe, но само собой. И оба всё равно можно MD’шные клепать через dm-raid.

В чём же заключается «кислогорькость»?

В том, что используется MD. Попробуй 10-й или 6-й сделать.

Теперь у топикстартера LVM2 поверх RAID1, сделано за пару минут.

Но это все равно не отменяет нужность бекапов. Конечно будет удобнее, что при смерти диска не нужно восстанавливать забекапленые данные, просто заменить диск, но от случайного удаления оно не поможет.

В чём же заключается «кислогорькость»?

Мой вопрос был к тому, что как dm-raid, так и /sys/module/md_mod+/dev/mdX предоставляют юзерспейсу возможность управлять RAID.

Лично мне интерфейс между ядром и юзерспейсом для управления device-mapper кажется более простым и логичным, чем тот, который использует mdadm. С mdadm, например, не так просто решить задачу «превратить существующий в системе /dev/md0 в инструкцию типа mdadm –create /dev/md0 –raid-devices 2 –level raid1 –metadata 1.2 /dev/sda /dev/sdb, с помощью которой он был создан», а для device-mapper это делается тривиальным dmsetup table. Да и таблички выглядят куда более юниксвейно, чем ioctl на полуфабрикаты блочных устройств.

В том, что используется MD. Попробуй 10-й или 6-й сделать.

Не вижу никакой разницы с raid1:

dmsetup create dmraid6 --table '0 2147483648 raid raid6_zr 3 0 region_size 1024 4 - 8:0 - 8:16 - 8:32 - 8:48'
dmsetup create dmraid10 --table '0 2147483648 raid raid10 3 0 region_size 1024 4 - 7:0 - 7:1 - 7:2 - 7:3'

Теоретически можно mdadm переписать, чтобы он использовал исключительно device-mapper и dm-raid вместо /dev/mdX. Сейчас его нет, и поэтому сочинять такие таблички каждый раз (и тем более при использовании metadata device) непросто, но это исключительно юзерспейсная проблема, которую можно решить даже скриптом на шелле.

Преимущество device-mapper перед mdadm - возможность делать сложную композицию из устройств, включающую в себя всякие снапшоты, ограничители скорости, нарезку на разделы, зеркалирование и загрузка данных с удалённых хранилищ по требованию и многое другое, где каждый кусок функциональности реализуется отдельным слоем, видимым и управляемым из юзерспейса, когда mdX - это интерфейс-комбайн, решающий все подряд задачи, связанные с RAID, требующий хардкодить все сценарии использования блочных устройств в ядре.

Преимущество device-mapper перед mdadm

Преимущество alsa над tcp/ip. ftrace над mm. cfs над cfq.

Разные вещи, чего их сравнивать? MD - строго RAID, DM - volume management, т.е. кишки для него.

какие такие? два первых рейда из четырех дисков надо планировать заранее? ты о чем? или тебе шашечки, а не ехать?

А если у меня всего два диска, и часть данных я хочу сделать надёжными, а часть - быстро доступными, но заранее не могу сказать, сколько будет данных одного типа, а сколько другого?

Seagate

🤣🤣🤣

ты либо рыбку, либо косточку уж, а, ну да — или страдай как страдаешь.

Так LVM позволяет не страдать, и рыбку, и косточку.

pvcreate /dev/sda
pvcreate /dev/sdb
vgcreate vg0 /dev/sda /dev/sdb
lvcreate -n lv0 -L 256M -i2 vg0
lvcreate -n lv1 -L 256M -m2 vg0
lvcreate -n lv2 -L 256M vg0
lvcreate -n lv3 -L 256M vg0

lv0 будет для ненужных файлов (raid0), lv1 для нужных (raid1), lv2 для обычных (JBOD). Оба можно ресайзить, можно новые lv создавать, можно старые удалять.

localhost:~# lvs -a
  LV             VG  Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lv0            vg0 -wi-a----- 256.00m                                                    
  lv1            vg0 rwi-a-r--- 256.00m                                    100.00          
  [lv1_rimage_0] vg0 iwi-aor--- 256.00m                                                    
  [lv1_rimage_1] vg0 iwi-aor--- 256.00m                                                    
  [lv1_rmeta_0]  vg0 ewi-aor---   4.00m                                                    
  [lv1_rmeta_1]  vg0 ewi-aor---   4.00m                                                    
localhost:~# lsblk
NAME               MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda                  8:0    0    1G  0 disk 
├─vg0-lv0          252:0    0  256M  0 lvm  
├─vg0-lv1_rmeta_0  252:1    0    4M  0 lvm  
│ └─vg0-lv1        252:5    0  256M  0 lvm  
└─vg0-lv1_rimage_0 252:2    0  256M  0 lvm  
  └─vg0-lv1        252:5    0  256M  0 lvm  
├─vg0-lv2          252:6    0  256M  0 lvm  
└─vg0-lv3          252:7    0  256M  0 lvm  
sdb                  8:16   0    1G  0 disk 
├─vg0-lv0          252:0    0  256M  0 lvm  
├─vg0-lv1_rmeta_1  252:3    0    4M  0 lvm  
│ └─vg0-lv1        252:5    0  256M  0 lvm  
└─vg0-lv1_rimage_1 252:4    0  256M  0 lvm  
  └─vg0-lv1        252:5    0  256M  0 lvm