LVM vs ZFS vs BTRFS

либо в облака :) и обговаривать нужный SLA.

Дело не в клиенте, я считаю что хранилка, пусть даже за 2000$ - оверкилл для 6 виртуалок. Сервера брались по большей части из-за более высокой надёжности нежели у тазиков и возможности полного удаленного управления через ilo,а кластер собран больше для удобства, а не для HA, потому как размазывать вм между серверами или переносить ВМ на другой сервер можно и без кластера.

Суть этого треда не обсуждение схд, а для раскрытия возможностей, на данном этапе, lvm в среде виртуализации. Это все можно развернуть и на одном сервере, но суть как раз в том, что бы иметь сервер «на подхвате» и сделать это не каким нибудь «ванильным» путем, а опытным и бесплатным.

и обосновать свой вскукарек ты, конечно же, тоже можешь?

что бы иметь сервер «на подхвате» и сделать это не каким нибудь «ванильным» путем, а опытным и бесплатным.

так Proxmox вам и дает этот путь, ссылку я выше давал. Рулится из гуёв. Не понимаю нафига городить собственный лисапед с LVM.

если уж так хочется свой лисапед на скриптах — rsync вроде умеет синкать блочные устройства. Сам не пробовал, читал на каком-то форуме год-полтора назад, там чел синкал партишены по сети.

Конечно могу. Ты, не прочитав тред и не вникнув в суть проблемы, предлагаешь то, что мне не подходит ни с финансовой точки зрения, ни с точки зрения реализации, ни с точки зрения безопасности, а я об этом всем писал.

Еще есть вопросы?

Если мы сейчас обсуждаем zfs, то мы вроде выяснили, что оно не поддерживает шифрование, а точнее непонятно как работает это шифрование, потому как релиз этой фичи состоялся в августе этого года. А шифровать каждую вм не вариант.

Rsync умеет инкрементную синхронизацию блочных устройств? Нет, не умеет. А lvmsync умеет мержить отличия из снапшота прямо в lv.

я не очень люблю общаться с дислексиками, ну да ладно. где я тебе что-то предлагал? ты написал про единую точку отказа, я тебе указал, что это всегда не так.

ни с точки зрения реализации, ни с точки зрения безопасности
Еще есть вопросы?

да, вот с этого момента подробнее.

2 контроллера не избавляют от единой точки отказа - мат.плата в которую они вставлены.

root@:~ # geli list
Geom name: da0p3.eli
State: ACTIVE
EncryptionAlgorithm: AES-XTS
KeyLength: 256
Crypto: hardware
Version: 7
UsedKey: 0
Flags: BOOT, GELIBOOT
KeysAllocated: 16
KeysTotal: 16
Providers:
1. Name: da0p3.eli
   Mediasize: 66569891840 (62G)
   Sectorsize: 4096
   Mode: r1w1e1
Consumers:
1. Name: da0p3
   Mediasize: 66569895936 (62G)
   Sectorsize: 512
   Stripesize: 0
   Stripeoffset: 2148532224
   Mode: r1w1e1

root@:~ # zpool list -v
NAME          SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zroot        61.5G  24.6G  36.9G         -    23%    39%  1.00x  ONLINE  -
  da0p3.eli  61.5G  24.6G  36.9G         -    23%    39%

у тебя будет luks вместо geli, не вижу проблем в шифровании zfs.

Стесняюсь спросить, а к чему собственно шифрование? Если сервера изымут, то расшифровать всё равно придётся.

Я бы не страдал хернёй, а сделал бы proxmox + zfs sync.

в данном случае я имел ввиду контроллеры схд, они же мат.платы, а не hba, хотя можно и кустарно слепить два сервера с jbod в кластер, и даже получить некое подобие active/active, если ты понимаешь о чём я.

перечитал своё сообщение, нужно читать как «что это не всегда так».

в данном случае я имел ввиду контроллеры схд, они же мат.платы

понятно, я думал ты про 2-х контроллерные корзины с мультипасом

подобие active/active, если ты понимаешь о чём я.

понимаю, у нас стоит такая конструкция аж на 3 стойки и ее дубликат в другой серверной ... и ценник у нее 7-ми значный в евро

А я не очень люблю общаться с упоротыми, ну да ладно.

где я тебе что-то предлагал?

Дак а нахрена тогда ты ляпнул про схд? У меня, вроде как, нормально сформулированный вопрос - что выбрать из трех вариантов - zfs, lvm, btrfs- для хранения и репликации образов вм между двумя серверами, двумя, понимаешь? Причём тут схд? Мне не нужна ни общая система хранения ни онлайн репликация. Первое моё сообщение читал хоть? Мне нужна синхронизация образов вм раз в 3 часа и так, что бы не было сильной нагрузки на io(а она будет, если синькать полностью образы) и на сеть(а она будет, если синькать 200гб каждые три часа). И в добавок к этому всему хранилка должна быть зашифрована.

да, вот с этого момента подробнее.

Если нужно ещё подробнее - читай еще раз мой 1 пост, а потом еще раз этот.

Стесняюсь спросить, а к чему собственно шифрование? Если вам знаком термин «конфиденциальная информация», то я думаю, что мне не придётся отвечать на ваш вопрос.

Если сервера изымут, то расшифровать всё равно придётся.

Почему придётся? Какая статья меня обяжет расшифровать диски? А потому как я подписывал NDA, то на припятствие следствию это не потянет. А если даже и будет решение суда, то я ведь могу и забыть пароль, пока это самое решение будет приниматься.

А если даже и будет решение суда, то я ведь могу и забыть пароль

наивный

Идея иметь самопальный аналог RBD - это, конечно, клево...
Но я вот тут еще о чем подумал - получится ли ИМЕННО инкрементально синхронизировать LV, если они зашифрованы?
По-моему, вот тут и можно наступить на грабли....

Стесняюсь спросить, сколько вам лет и где вы живёте (попадаете ли под действие УПК РФ)?

Я, конечно, не профессиональный юрист, но «отказ от дачи показаний, равно как и дача заведомо ложных» расценивается как препятствие следствию за исключением «свидетельства против себя», а под это исключение NDA никак не катит, так что за «забыл пароль» Вас легко переквалифицируют из свидетеля в соучастника.

Так шифрование то уровнем ниже. Где грабли?

Не постесняюсь ответить, 24, под УПК РФ не попадаю, зато попадаю по УК Украины.

Я, конечно, не профессиональный юрист

Вот на этой ноте мы пожалуй закончим обсуждение УК и конституционных прав человека.

lvm ничего не знает о шифровании, так что грабель не будет.

А вот фиг его знает, фиг его знает, будут или не будут грабли... Будет оно там вместо одного килобайта гнать по гигабайту... Куда и в какие блоки ты попадёшь со своим шифрованием - не знаю. Знаю, что один блок у lvm, кажется сейчас это 8мб (по-умолчанию). - Чем оперирует lvm при синхронизации, не знаю. Но если блоками, то шанс того, что 1кб, будет делать синк на 100мб. достаточно не мал.

т.е. пока ТС не попробует, не узнаем :)

самому интересно :)

Согласен, желаю не попадать под статьи УК :)

кажется сейчас это 8мб

Если бы это было так, то размер снапшота тоже рос с шагом в 8мб. Возможно таков размер экстентов? Но на сколько я знаю они не влияют на размер самих блоков. Хотя могу ошибаться, нужно доки красношапки почитать на этот счет.

В последнем центосе 4 МБ.

В мануале упоминается о передаче изменённых чанков, также фигурируют термины блок и diff binary.

В общем, либо я что то не так распарсил, либо получается полная лажа - lvmsync может работать только с отключенным пуллом.

lvmsync /dev/pve-vg/vm-111-disk-1-snap 192.168.10.12:/dev/pve-vg/vm-111-disk-1 
syscall 'open' failed: Device or resource busy
Note: you cannot run this tool with these options on live metadata.
/var/lib/gems/2.3.0/gems/lvmsync-3.3.2/lib/lvm/thin_snapshot.rb:163:in `vg_block_dump': undefined method `inject' for nil:NilClass (NoMethodError)
Did you mean?  inspect
	from /var/lib/gems/2.3.0/gems/lvmsync-3.3.2/lib/lvm/thin_snapshot.rb:111:in `origin_blocklist'
	from /var/lib/gems/2.3.0/gems/lvmsync-3.3.2/lib/lvm/thin_snapshot.rb:103:in `flat_origin_blocklist'
	from /var/lib/gems/2.3.0/gems/lvmsync-3.3.2/lib/lvm/thin_snapshot.rb:69:in `differences'
	from /var/lib/gems/2.3.0/gems/lvmsync-3.3.2/lib/lvm/logical_volume.rb:81:in `changes'
	from /bin/lvmsync:279:in `dump_changes'
	from /bin/lvmsync:231:in `block in run_client'
	from /usr/lib/ruby/2.3.0/open3.rb:205:in `popen_run'
	from /usr/lib/ruby/2.3.0/open3.rb:95:in `popen3'
	from /bin/lvmsync:228:in `run_client'
	from /bin/lvmsync:124:in `main'
	from /bin/lvmsync:357:in `<main>'