Вопросы по использованию ZFS в Proxmox

Добавлять зеркало можно, но сконвертировать в raidz1 (аналог raid5) нельзя.

а сконвертировать с одиночного диска ZFS сразу на raidz можно? (минуя зеркало)?

В LVM можно сделать, как я хочу? одиночный диск –> зеркало –> raidz или одиночный диск –> raidz

Нет. Можно только между одиночным диском и зеркалом/raid10.

В LVM возможны любые конвертации. Но LVM менее надёжен, чем ZFS, и в production отказоустойчивый LVM мало кто использует.

а можно на ZFS так сделать (расширение хранилища по шагам):

1. есть 1 диск 3 Тб => хранилище 3 Тб
2. +1 диск 3 Тб => хранилище 6 Тб (не зеркало)
3. +2 диска 3 Тб => хранилище 6 Тб (зеркало) и т.д. ?

можно

можно

ты разрешил ему сделать это?!

А знает ли уважаемый вопрошающий сколько денег с него возьмёт Вахтанг Аркисович из будки за «шаурмой» на местном базаре за восстановление данных с диска под зиэвсёй да ещё в рэйдзэ? Ни зиэфся, ни какая угодно рэйда не освобождают начинающего «проекты» от священной обязанности делать бэкапы. Я бы взял пентиум четыре с диском гигобайт на двадцать и сделал бы там парочку рэйдов десятых, да пробы попробовал. А уж потом, когда бы просветилось осенение, наметил бы в блокнотике тезисы, как стратегию по случаю «а вдруг я когда-нибудь куплю к этому пентиуму четыре ещё один диск на 20 гигопайт».

Да проще уже в виртуалке потестить

Можно, но автоматической перебалансировки нет, то, что уже записано, перебалансируется только при последующей перезаписи.

прочитал много разных мануалов по этим темам, есть мнение, что одиночный диск в ZFS иметь опаснее, чем одиночный диск в LVM - т.к. в при записи в LVM том данные на диске записываются более-менее последовательно, а в ZFS - запись происходит всё время в свободное место, в итоге по диску разбросаны малопредсказуемо(

понятно, что для отказоустойчивости надо делать бекапы, но диски для бекапов и для зеркала смогу купить не сразу…

да, всё делаю в виртуалке. Но вопрос - как организовать хранилище не на 20Гб, а на 20ТБ в перспективе, чтобы потом всё не переделывать. Потому что негде взять диски для временного хранения такого большого объёма данных, при перестроении рабочего хранилища…

ещё вопрос по поводу ashift - читал в нескольких местах, что оставить ashift по умолчанию не очень хорошая идея.

Я планирую использовать новые диски WD Red Plus - какое значение ashift для них лучше установить?

Проще всего сразу поставить ashift=12 (дефолтное значение в инсталере proxmox), и не думать. Даже если в пуле нет дисков с сектором 4Kb. Если вдруг потом появятся, не придётся заново собирать пул.

ещё вопрос - у меня на мат плате два разъёма M.2 для установки накопителей NVMe, у одного из них пропускная способность полная, а у другого только 50%.

Возможно ли использовать оба два этих накопителя для организации зеркала? Или будут проблемы?

Проблем не должно быть.

Диски для NAS в виртуализации использовать?

планируется эти диски использовать для хранения видеоконтента. С одной стороны - можно сказать, что это NAS. С другой стороны - том на таких дисках (zfs или lvm) передаётся как диск в виртуальную машину. В чём вы видите здесь потенциальную проблему?

Ну, zvol on raidz это дурацкая затея.
Тебе лучше использовать LVM.

Главное что бы диски не уходили в сон. Ну и по надежности, я все нафиг красные выбросил, купил Gold, хотя и это то ещё Г. :) Ну и скорость 5400. TLER вроде как они поддерживают.

Красные не могут стоять в сервере где больше 8ми жестких дисков (вибрации).

Ну блин… если WD gold это Г, какие тогда не Г?

в LVM том данные на диске записываются более-менее последовательно, а в ZFS - запись происходит всё время в свободное место, в итоге по диску разбросаны малопредсказуемо(

И что? Как это коррелирует с «опасностью» хранения данных?

Как я понял, в случае сбоя диска, восстановить данные с ZFS тома (пула) будет гораздо сложнее.

В случае сбоя диска данные восстанавливать ненужно, данные должны быть на отказоустойчивом raid-е + бэкапы.

Все они три года работают и тю-тю. Но в целом, я беру то, что было раньше hgst

Ты чего с ними делаешь. 😏
У меня WD Se уже 40000+ часов видеопотоки пишут. Почти все ещё живые.
Сдохшие меняю на голды.
Последняя закупка была уже из серии DC.

Вот я тоже пишу видео потоки, например. - 35-45 тысяч и начинаются проблемы.

Серию purple рассматривал к применению?

Точно не помню, вот что из последнего накопилось - всё отходило около 40к часов, в среднем.

https://disk.yandex.ru/i/7mBunF2rmhtH6Q

Аргументы?

При размере сектора 4к, дефолтном размере блока у zvol 8к, в raidz будет выделяться 16к. То есть место на пуле будет съедать как будто это зеркало.

google://raidz space calculator

Прикинь, многое в этой жизни надо настраивать, и не всегда дефолт устраивает всех.

Прикинь, я знаю как аллокатор в zfs работает. Так что в Гугл иди сам.

ТС там виртуалки собрался делать, vdi на raidz тоже так себе идея.
По iops просядешь.

Я знаю чуваков крутящих оракловые базы на stripe of raidz, но они в отличии от ТС знают что делают.

Прикинь, я тоже. И прикинь, в случае виртуалок и zvol тоже можно крутить разные настройки, как на уровне zvol, так и внутри виртуалки. И у LVM тоже есть, что покрутить. Например, при неправильном выборе размера чанка в lvm thin, в некоторых случаях, производительность может упасть на порядок. Так что так себе ты сову на глобус натянул.

И, да, ZFS это не только raidz. Там, где надо IOPS и скорость, которые raidz не позволяют получить, можно использовать, например, RAID10.

Крутить ты можешь что угодно и где угодно, результат будет два.
Либо ты получишь оверхед по занимаемому месту, либо просаживаешься по iops. Физику не обманешь. Это я про zfs.

И, да, ZFS это не только raidz.

Спасибо, кэп, век живи, век учись.

Там, где надо IOPS и скорость, которые raidz не позволяют получить, можно использовать, например, RAID10.

Не можно, а нужно.

Это я про zfs.

Нет, это ты не про ZFS, а про raidz. Специалист ты наш. И оверхед этот вполне рассчитывается, он прогнозируемый.

А raidz это не zfs? Демагог ты наш.

И что с того что он прогнозируемый?
Только идиот будет собирать raidz под виртуалки.

А raidz это не zfs? Демагог ты наш.

Конечно, raidz - это не zfs. Raidz - это один из типов vdev, не единственный, чтоб ты знал.

Только идиот будет собирать raidz под виртуалки.

Админа локалхоста спросить забыли.

Похоже админ локалхоста тут ты. Продолжай жрать кактусы.

Похоже админ локалхоста тут ты. Продолжай жрать кактусы.

Ну конечно. Это видно и по этому треду, и по другим, в которых ты участвовал. Давай-ка расскажи, как на LVM получить контроль целостности данных.

А как ты собрался набирать 30Т дисками по 3Т? Ты точно всё просчитал?

Скворечно.
Ты пытаешься демагогить на терминологии. Очевидно что кроме неё ты в zfs не петришь. Lvm мне не интересен, так что кормить тебя нечем.

10 дисков в raid0 🙃

Для тебя в ZFS других типов vdev, кроме raidz, не существует. Я не понимаю, что ты привязался, если топиксиартер уже отказался от raidz, ещё до твоего прихода. Но даже не смотря на это, ты продолжаешь напирать и проповедовать идею, что ZFS говно по той причине, что в ней есть raidz. Узбагойся, никто raidz делать не собирается. Но тебе же все равно, ты увидел ZFS, и тебя затриггерило. Как уже говорили в другом треде, прекрати лезть в темы про ZFS и storage, и корчить из себя специалиста, у тебя не получается. Максимум - ты позориться.

А размещать он их где будет? На полочке? А подключать куда?

сам не позорься, «специалист» локалхостер.
как я уже сказал - кроме терминологии ты в ZFS не петришь.
ТС, судя по следующим его темам, в ZFS таки полез.
флаг ему в руки.

ЗЫ:
а еще у тебя похоже проблемы с пониманием написанного.
я не говорю что ZFS говно, я её сам юзаю.
я говорю что raidz и виртуалки - плохая идея.
можно это нивелировать подключив SSD для slog и l2arc. (но ты этот аргумент не привел, а полез в демагогию, что и выдает в тебе нуба, по верхам почитавшего мануалы.)

всего хорошего...

это вопрос к ТС, откуда я знаю.
может у него в запасе есть корзина на 16 дисков 😏

как я уже сказал - кроме терминологии ты в ZFS не петришь.

Сказал человек, не видящий разницы между ZFS и raidz.

а еще у тебя похоже проблемы с пониманием написанного.
я не говорю что ZFS говно, я её сам юзаю.
я говорю что raidz и виртуалки - плохая идея.

ТС отказался от raidz ещё до твоего прихода сюда, но тебе плевать, что кроме тебя raidz здесь никого не беспокоит.

можно это нивелировать подключив SSD для slog и l2arc. (но ты этот аргумент не привел, а полез в демагогию, что и выдает в тебе нуба, по верхам почитавшего мануалы.)

Что ты там собрался нивелировать, если кроме тебя raidz здесь никого не беспокоит? Потом, если я об этом не писал, это не значит, что я об этом не знаю и не пользуюсь.

Потом, если я об этом не писал, это не значит, что я об этом не знаю и не пользуюсь.

Это значит что ты нуб.

Сказал человек, не видящий разницы между ZFS и raidz.

вижу, но не скатываюсь в демагогию.

ТС отказался от raidz ещё до твоего прихода сюда, но тебе плевать, что кроме тебя raidz здесь никого не беспокоит.

тебя беспокоит, это ведь ты потребовал аргументы.

Это значит что ты нуб.

Успокойся уже. zfs + mongodb, посоветуйте тюнинг (комментарий)

вижу, но не скатываюсь в демагогию.

Да? А как ещё назвать твой понос?

тебя беспокоит, это ведь ты потребовал аргументы.

Конечно. Мне всегда интересно послушать аргументированный ответ.