ZFS raid vs SoftRAD + LVM

zol уже однозначно лучше.

Это понятно, будь ZOL ещё слишком сырым они не включили бы его в дистриб проксмокса. Но хочется пруфов и историй успеха )

Так уже вышел Proxmox 3.4 со встроенной поддержкой ZFS. Ну а ZFS'офилов тут щас набежит, мама не горюй. Они тебе распишут как она «уже 10 лет готова для продакшена» и всё такое. Ну а если по делу, то плюшки вкусные, и кеш на SSD в одну команду настраивается, и сжатие есть, и снепшоты. Но оперативки минимум 4 гб. а лучше 8 гб и это чисто под ZFS и таки падает иногда всё вместе с данными.

zfs

Да тут весь форум такими темами засижен. Ты ведь даже не пытался читать.

таки падает иногда всё вместе с данными

Таки что, где и когда у тебя упало?

первый пошёл, ждём школьника, зека и примкнувшего к ним sdio

Задачи какие? Железо какое? Хотя обожди, телепаты скоро вернутся из отпуска, они тебе всё расскажут.

Таки пкадений как раз и не хочется. По части прожорливости ZFS в плане рамы морально готов гига 4-8 выделять, если всё остальное будет отлично. И как раз одна из причин - SSD кэх, т.к. редхатовское ведро в проксмоксе нативные кэши всё ещё не умеет, напр. LVM SSD кэш (хотя надёжность такого решения тоже под сомнением).

телепат King_Carlo уже тут есть

Пока интересно понять, имеет смысл разворачивать тестовый стенд и ковырять это дело или пока рано дёргаться и лучше оставаться на проверенной связке mdraid+LVM. В железе там принципиально лишь потребление памяти под ZFS

http://pix.toile-libre.org/upload/original/1429876846.png вот моя инсталляция, пользую kvm+zol, без proxmox.

А можно узнать кратенько в двух словах что за конфиг нод? Что за диски, используется ли SSD (под кэш), какой тип рэйда, сколько кэш ZFS кушает памяти? Плюшки типа подтомов под снапшоты или бэкапы используются?

В железе там принципиально лишь потребление памяти под ZFS

Не только железо, не только RAM. От требований к надежности дисковой системы зависит сколько дисков тебе понадобится. В случае ZFS кол-во необходимых дисков обычно увеличивается из-за особенностей ZFS (ZLOG, L2ARC). Если, тебе вся эта надежность не вперлась, то сначала поиграйся сам: https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/

Вот мануал, там все расписано так, что даже школьник поймет. Экспериментируй, т.к. ты не хочешь рассказывать какие нагрузки ты решил делать на диски и какие требования выдвигаются (хотя бы банальное, 2 диска из строя это норм) и делай выводы самостоятельно.

или пока рано дёргаться и лучше оставаться на проверенной связке mdraid+LVM

А что тебя сподвигло смотреть в строну ZFS? Мифы о том, какая она распрекрасная? Да, она прекрасна, только платить за все надо, в данном случае дисками, под RAID1 в контексте ZFS тебе нужно как минимум 6 дисков, чтобы было чики-пуки.

А, ну если ядро проксмоксовое, то да, ZFS уделывает всё по функционалу. Я просто обновлял на 3.16 ради SSD/discard.

у меня на 6 дисках обычно 10ка.а уж mdraid я вообще не могу назвать чем то хорошим, если по производительности его рейд контроллер часто уделывает за 5 шт рубликов. А судя по его вопросу, о оптимизации mdraid он и краем глаза не слышал.

школьника, зека и sdio

Кто это?

ща придут, обожди

если по производительности его рейд контроллер часто уделывает за 5 шт рубликов

Врешь Opteron IO performance? (комментарий)

когда придут пальцем покажи, а то я в этих ваших погонялах не шарю

марвеловские контроллеры брать надо просто.

под RAID1 в контексте ZFS тебе нужно как минимум 6 дисков…

Ты ведь хотел сказать RAIDZ1, да? Минимум шесть подразумевает отдельный ZIL и L2ARC?

С учетом виртуалок у ТС конечно может быть так много синхронной записи, что отдельный быстрый ZIL поможет, но зачем он на диске, а не на SSD? Если не выделен отдельно, ZIL пишется на все диски пула, поэтому обычно, без массивной синхронной записи, не является узким местом. А так как ZIL сбрасывается каждые пять секунд, размер его не может превысить пары гигабайт даже на самых быстрых массивах, зачем под него диск?

Также понятно, что L2ARC помогает ускорить чтение только если одни и те же данные постоянно читаются, но уже не лезут в ARC в ОЗУ. Правда нет смысла размещать его не на SSD. Ну и ZFS глубоко плевать на надежность накопителя для L2ARC — данные просто будут прочитаны из пула, если кеш сдохнет.

С учетом того, что ZIL работает /только/ на запись, а L2ARC практически только на чтение, есть смысл разместить оба на одной и той же паре SSD: по маленькому, до 2–4Гб, разделу на каждом в зеркало под ZIL, остаток обоих SSD под L2ARC. Тем более, не думаю, что более 100–200Гб кэша хоть как-то помогут ТС.

Хорошо расписал :) Серьезно.

Случаи бывают разные. Иногда и диск SSD под фигню, вроде L2ARC не выделить.

Вообще, можно выкинуть zlog/l2arc и жить не тужить, опять же с феерическими требованиями, типа RAID-диски размером 1-2Гб, состоящие из файлов, которые лежат на ext4/btrfs/что там модно нынче. Я не спорю.

Иногда и диск SSD под фигню, вроде L2ARC не выделить.

Ну так прок от L2ARC только тогда, когда есть большое давление на память, и кэш первого уровня в оперативке уже не помогает. То есть, либо много данных, и их обработка уже сожрала всю сотню гиг ОЗУ, но в таком случае и проблем с покупкой SSD нет. Либо даже на оперативку финансов не хватает, но тогда и L2ARC никого не спасет. :)

Вообще, можно выкинуть zlog/l2arc и жить не тужить…

Отдельные диски (SSD, BBRAM, NVRAM) под ZIL имеют смысл только для задач с большим количеством /синхронной/ записи.

В общем, правило стандартное: если ты не знаешь, зачем тебе необходимы L2ARC и/или отдельный ZIL — они тебе не нужны.

И тогда совет по количеству дисков в пуле тоже стандартный: минимум два для зеркала, три (2+1) для RAIDZ, шесть (4+2) — RAIDZ2 и девять (6+3) под RAIDZ3. Максимум в одной RAIDZ группе рекомендуется девять накопителей.

Конфиг нод - самый разнообразный. Я держу всё на простых нодах (Core i5-7), RAM без ecс. Пользуюсь: zfs 1+0. zfs уже использую около года. Был разрыв по вине памяти т.е. не повине zfs. А так без разрывов.

Что касаемо SSD под кеш: попробовал, работает. Но конкретно в моих задачах, пока не актуально.

На майские праздники запланирована инсталляция с серверным CPU + ECC памяти + SSD, как основной носитель. - Будет жёсткая нагрузка на ввод вывод, при разворачивании SQL базы. --- Всё это я уже проделывал, на обычных носителях, и на SSD - всё ок! Но вот разве планка памяти битая нашлась... SSD дало прирост в 4ре раза на этой задаче. Так-как мне за праздники надо успеть, решено закупить SSD накопители.

Из основных фишек которыми меня привлекла zfs - репликация по сети, снепшоты.

Теперь по памяти: у меня всё по-умолчанию. И решил проверить, как поведёт себя, zfs, при нехватке ОЗУ, в общем запустил слишком много машинок. Хотя я искренне веровал в KSM, но похоже кеш ARC, не берёт освобождённую память. - В общем, если свободной памяти менее 4-5гб. - zfs по скорости записи, превращается в дискету, и всё очень плохо. Не делай так.

В общем, правило стандартное: если ты не знаешь, зачем тебе необходимы L2ARC и/или отдельный ZIL — они тебе не нужны.

Совершенно согласен.

что за админка?

И да: я пользую не ECC память, на тестовых, и сугубо служебных, архивных машинах, в основном. Конечно, продакшн СУБД не буду пихать.

webvirtmgr

Кто-нибудь уже пробовал под гипервизоры

у нас уже два года как kvm на zfs живет, очень годное решение, под zfs память надо с коррекцией ошибок, прямой zfs доступ к дискам

Плюшки типа подтомов под снапшоты или бэкапы используются?

нет в zfs подтомов, есть тома zvol - виртуальные блочные устройства - аналоги томов lvm и есть ФС разного уровня вложенности.

ZFS в плане рамы морально готов гига 4-8 выделять

это самый минимум, на чисто поиграться хватит.