LINUX.ORG.RU

Релиз ZFSonLinux 0.8.0

 , ,


4

2

Около двух лет и 5 RC-релизов потребовалось разработчикам ZFS on Linux (сокращённо ZoL), чтобы выпустить крайне значимый релиз - ZFS-0.8.0.

Новые возможности:

  • «Нативное» шифрование как для файловых систем, так и для разделов. По умолчанию используется алгоритм aes-256-ccm. Ключи для датасета управляются с помощью команды «zfs load-key» и связанных подкоманд.
  • Шифрование при zfs send/receive. Позволяет хранить бэкапы на недоверенных сервисах без возможности компрометации.
  • Удаление устройства из pool через команду «zpool remove». Все данные копируются в фоновом режиме на оставшиеся устройства верхнего уровня, и ёмкость пула соответственно уменьшается.
  • Подкоманда «zpool checkpoint» позволяет сохранить всё состояние пула и при желании вернуться обратно в это точное состояние. Это можно рассматривать как расширенный snapshot пула. Это полезно при выполнении сложных административных действий, которые в противном случае необратимы (например, включение новой функции, уничтожение набора данных и так далее)
  • TRIM для устройств пула. Позволяет более эффективно использовать твёрдотельные накопители и предотвращать снижение их производительности и/или времени их жизни. Можно производить trim как отдельной командой «zpool trim», так и включить аналог опции discard - новое свойство пула «autotrim»
  • Инициализация пула. Подкоманда «zpool initialize» записывает свой патерн во всё нераспределённое пространство. Это устраняет первое снижение производительности доступа, которое может существовать в некоторых виртуализированных хранилищах (например, VMware VMDK).
  • Поддержка аккаунтинга проектов и квот. Эта функция добавляет учёт использования проекта и квоты к существующим функциям учёта пространства и квот. Квоты проекта добавляют дополнительное измерение к традиционным квотам пользователей/групп. Подкоманды «zfs project» и «zfs projectspace» были добавлены для управления проектами, установки лимитов квот и отчётов об использовании.
  • Программы каналов. Подкоманда «zpool program» позволяет использовать скрипты на LUA для выполнения административных действий. Скрипты запускаются в «песочнице» с лимитами времени и памяти.
  • Pyzfs. Новая python-библиотека для обеспечения стабильного интерфейса для программного администрирования ZFS. Эта обёртка обеспечивает взаимно-однозначное (one-to-one) сопоставление для функций API libzfs_core, но сигнатуры и типы более естественны для Python-диалекта.
  • Совместимость с Python3. Утилиты «arcstat», «arcsummary» и «dbufstat» обновлены для совместимости с Python3
  • Direct IO. Добавлена поддержка использования прямого вывода (O_DIRECT).

Также ускорены подкоманды scrub/resilver/list/get, добавлена возможность вывести метаданные на отдельное устройство (например, высокопроизводительный SSD малого объёма), увеличена производительность ZIL за счёт кэширования и оптимизации, добавлена поддержка аппаратного ускорения SHA256-чексумм и AES-шифрования используя Intel QAT (Quick Assist Technology).

Поддерживаемые ядра Linux: 2.6.32 - 5.1 (на ядрах 5.0 и выше пока не поддерживается SIMD-ускорение)

Полный список изменений

Значения параметров модулей по-умолчанию выбраны, чтобы обеспечить оптимальную нагрузку для большинства рабочих нагрузок и конфигураций. Для полного списка опций - man 5 zfs-module-parameters

>>> Подробности

Deleted

Проверено: shell-script ()
Последнее исправление: Deleted (всего исправлений: 4)

Ответ на: комментарий от Miha

Интересно, а что лучше, в рассчете на тонну груза за 5 лет, 1 Белаз или 10 МАЗов?

Речь о том, что прогресс ушел настолько вперед, что несколько небольших комфортабельных грузовиков Лексус оказываются на порядок удобнее и дешевле при аналогичной возможности возить грузы.

anonymous
()
Ответ на: комментарий от anonymous

ZFS можно например сделать зеркала из 3х дисков, каждый на отдельном своем контроллере, ваши ящики так умеют?

дада, которые понятия не имеют о дисках подключенных к другим контроллерам, в отличии от ящиков где тоже так можно, спасибо не надо. тебе уже неоднократно говорили, что ты понятия не имеешь о чём нам тут втирать пытаешься. восполнять пробелы в твоих познаниях вряд ли кто-то будет, ибо там один сплошной пробел, ну и твоя реакция на все ответы однозначно говорит, что это крайне бесполезное занятие.

anonymous
()
Ответ на: комментарий от anonymous

дада, которые понятия не имеют о дисках подключенных к другим контроллерам

А в чем проявляется это знание на true хранилищах и какие профиты?

тебе уже неоднократно говорили, что ты понятия не имеешь о чём нам тут втирать пытаешься.

В смысле не имею представления о ваших хранилищах? Да, это почти верно.

Или не имею представления о ZFS? Это конечно же была бы наглая ложь.

твоя реакция на все ответы однозначно говорит, что это крайне бесполезное занятие.

Отнюдь, я использую ваши ответы для своего обучения.

anonymous
()
Ответ на: комментарий от anonymous

общение с очень высокоинтеллектуальными и этичными людьми

это те интеллектуалы, что ваши сервисы на несколько дней кладут? а ты от них уже многому научился, я смотрю, далеко пойдёшь.

anonymous
()
Ответ на: комментарий от anonymous

это те интеллектуалы, что ваши сервисы на несколько дней кладут?

Не вижу никакой связи, от слова СОВСЕМ. Разные страны, разные люди, разные технологии.

я смотрю, далеко пойдёшь.

Если в хорошем смысле, то твои бы слова, да как говорится, Богу в уши.

anonymous
()
Ответ на: комментарий от anonymous

В смысле не имею представления о ваших хранилищах? Да, это почти верно.

Хотя имел неудовольствие знакомства с NetApp по $50K каждый, редкостная гадость! намного отвратительнее моего древнего почти бесплатного сервера по удобству использования.

anonymous
()
Ответ на: комментарий от anonymous

несколько небольших комфортабельных грузовиков Лексус оказываются на порядок удобнее и дешевле

Для перевозки руды в карьере? Что-то я сомневаюсь.

Miha
()
Ответ на: комментарий от anonymous

функционал ZFS, как ты, наверно, уже понял, намного круче средненького проприетарного хранилища.

это потому что неуч какой-то так сказал, которые и не видел вендорских хранилок?

anonymous
()
Ответ на: комментарий от Miha

Думаю, что для перевозки сотни людей в другой город он тоже предложит использовать грузовики, он же автобус только на картинке видел...

anonymous
()
Ответ на: комментарий от anonymous

А в чем проявляется это знание на true хранилищах и какие профиты?

хотя бы в том, что после пропадания контроллера диски останутся доступны, лоад балансинг тот же.

anonymous
()
Ответ на: комментарий от anonymous

Ты тему не уводи. Я тебе показываю, что именно для работ в карьере лучше всего подходит очень большой, мощный и дорогой самосвал. И мировая практика это подверждает, весь мир руду возит на них.

Miha
()
Ответ на: комментарий от anonymous

В смысле не имею представления о ваших хранилищах? Да, это почти верно.

Или не имею представления о ZFS? Это конечно же была бы наглая ложь.

а зачем ты нам тогда врёшь про какой-то мифический больший функционал?

у меня зфс в проде с 2006, так что втирать свои фантазии можешь интеллектуалам со своей работы.

anonymous
()
Ответ на: комментарий от Miha

Для перевозки руды в карьере? Что-то я сомневаюсь.

В том то и дело, что в датацентрах возят не только руду дорвейщеков, которую можно было бы свалить и ваши цистерны,

но хранят еще и массу других изящных, ценных и важных данных.

Думаю, на этом нужно прекратить сравнение с автомобилями, потому что оно слишком примитивное и не отражает сути сравниваемых сущностей.

anonymous
()
Ответ на: комментарий от anonymous

а зачем ты нам тогда врёшь про какой-то мифический больший функционал?
у меня зфс в проде с 2006, так что втирать свои фантазии можешь интеллектуалам со своей работы.

А что за модель у тебя? За сравнимые деньги дает больше функционала, чем ZFS?

Сдается мне, что врешь тут как раз ты, а не я!

anonymous
()
Ответ на: комментарий от anonymous

хотя бы в том, что после пропадания контроллера диски останутся доступны

SAS multipath (SAN) это не решает?

anonymous
()
Ответ на: комментарий от anonymous

Думаю, что для перевозки сотни людей в другой город он тоже предложит использовать грузовики, он же автобус только на картинке видел...

Вот как раз про это, сравни еще с катафалками.

Хватит про машины, они тут не к месту.

anonymous
()
Ответ на: комментарий от anonymous

у меня зфс в проде с 2006, так что втирать свои фантазии можешь интеллектуалам со своей работы.

И что плохого можешь сказать про ZFS? Какая у тебя версия? платформа?

anonymous
()
Ответ на: комментарий от anonymous

это потому что неуч какой-то так сказал, которые и не видел вендорских хранилок?

За те же деньги?! попробуй, оспорь.

anonymous
()
Ответ на: комментарий от anonymous

не отражает сути сравниваемых сущностей

Именно отражает. Гиганская ентерпрайзная хранилка для какой-нибудь бигдаты в итоге окажется выгодней (скажем за период в 5-7 лет), чем кучка самопальных. И заказчик это понимает. Почему люди покупают Белаз? Просто они знают, что все остальное хуже и намного дороже.

Miha
()
Ответ на: комментарий от anonymous

ZFS - офигенная технологи за сущие копейки, особенно если ведется разработка и нужны многочисленные тесты, рядом ничего и близко не валяется.

anonymous
()
Ответ на: комментарий от Miha

Ты тему не уводи. Я тебе показываю, что именно для работ в карьере лучше всего подходит очень большой, мощный и дорогой самосвал. И мировая практика это подверждает, весь мир руду возит на них.

А я тебе показываю, что больше половины бизнесов не занимаются добычей полезных ископаемых даже в РФ (хотя это утверждения судя по состоянию экономики в 2014-2016 годах несколько анекдотично), и твои белазы им как корова для седла:

https://www.anekdot.ru/i/caricatures/normal/19/5/20/zashhita-prav.jpg

anonymous
()
Ответ на: комментарий от anonymous

мультипас чего и куда? у тебя контроллер пропал к которому куча дисков подключена.

Я не работал с multipath, но читал, что вроде бы разные контроллеры могут цепляться к одному и тому же диску одновременно, разве это не работает в ZFS?

Тоже самое про сетевухи при построении distributed FS типа Lustre.

Как контроллеры и сетевухи могут повлиять в таком случае, объясни дремучему.

anonymous
()
Ответ на: комментарий от Miha

Нихрена подобного. Заказчик порой двух слов связать не может, не то что ТЗ составить. Целесообразность и эффективность часто расходятся в стороны, важно не кто-что покупает, а кто, зачем и для чего этим будет рулить.

anonymous
()
Ответ на: комментарий от anonymous

В нормальной хранилке диски стоят двухпортовые (одна из причин высокой цены) - потому и отвал контроллера не критичен.

anonymous
()
Ответ на: комментарий от Miha

Именно отражает. Гиганская ентерпрайзная хранилка для какой-нибудь бигдаты в итоге окажется выгодней (скажем за период в 5-7 лет) чем кучка самопальных.

Не самопальных а от вендора типа Nexenta.

А выгодность еще посчитать надо, а не тупо поверить тебе.

И заказчик это понимает.

В том то и дело, что многие не понимают, потому что такие как ты задурили им голову.

Почему люди покупают Белаз? Просто они знают, что все остальное хуже

Может быть, для карьера ваш белаз и сойдет (ПОКА), хотя

https://en.wikipedia.org/wiki/Sequoia_(supercomputer)

с вами в корне несогласная! причем уже давненько ;)

anonymous
()
Ответ на: комментарий от anonymous

Не вижу никакой связи, от слова СОВСЕМ

зато я вижу, шараги они все одинаковые +/- и не от слова совсем, неграмотный ты утёнок.

anonymous
()
Ответ на: комментарий от anonymous

ты утверждал про средний массив, он же midrange. про деньги речи не было.

Я смотрю, ты уже оксюморонишь вовсю. Как может быть выгоднее, но про деньги речи не было?

anonymous
()
Ответ на: комментарий от anonymous

зато я вижу, шараги они все одинаковые +/- и не от слова совсем

Отнюдь, в некоторых можно учиться самостоятельно, а в некоторых там будет ипанутый толпоеп, навязывающий свои примитивные убеждения, размешанные в стакане с водкой, вот из таких, таки да, надо бежать.

неграмотный ты утёнок.

В чем это проявляется (что утенок и что неграмотный)?

anonymous
()
Ответ на: комментарий от anonymous

функционал ZFS, как ты, наверно, уже понял, намного круче средненького проприетарного хранилища.

anonymous
()
Ответ на: комментарий от anonymous

В нормальной хранилке диски стоят двухпортовые (одна из причин высокой цены) - потому и отвал контроллера не критичен.

А что для ZFS такие диски противопоказаны?

anonymous
()
Ответ на: комментарий от anonymous

старые, энергонеэффективные машинки

«2018 год во внешнеэкономической деятельности ОАО «БЕЛАЗ» можно охарактеризовать как один из самых успешных за всю его 70-летнюю историю: объем экспорта продукции составил 990,8 млн долларов (темп роста составил 130,3 % к уровню 2017 года), продукция предприятия поставлена в 32 страны мира.»

Что-то тут не сходится?

Miha
()
Ответ на: комментарий от anonymous

Самая навороченная хранилка, которую с которой я работал, это - NetApp и она для решения моих задач была значительно хуже ZFS, пока не добавил ее в качестве vdev zpool-а.

Можешь написать список фич, которые у твоего midrange есть, а у ZFS нет? Ну кроме задублированной материнки, что уже обсуждалось.

anonymous
()
Ответ на: комментарий от anonymous

в некоторых там будет ипанутый толпоеп, навязывающий свои примитивные убеждения, размешанные в стакане с водкой

как самокритично.

что утенок и что неграмотный

утёнок потому что ничего другого не видел и не знаешь, но уверен что твоё решение самое-самое, ты гений, а другие ничего не понимают. ну, а неграмотный «от слова совсем».

anonymous
()
Ответ на: комментарий от Miha

может хватит про белазы? ну совсем же не в тему.

anonymous
()
Ответ на: комментарий от anonymous

как самокритично.

так я не пьющий, почему само?

anonymous
()
Ответ на: комментарий от anonymous

список фич, которые у твоего midrange есть, а у ZFS нет?

Я же тебе написал, 5 девяток. Вот когда у твоей zfs хранилки будет такой показатель, приходи.

Miha
()
Ответ на: комментарий от anonymous

утёнок потому что ничего другого не видел и не знаешь, но уверен что твоё решение самое-самое

я просто сравниваю

ты гений

где я писал, что я гений? это ты передергиваешь, что свойственно тем, кто не может аргументировать в споре, они начинают как бы настраивать окружающих против, начинают высказывать шизофренические утверждения якобы от лица ВСЕХ (квантор All), мол все смеются над твоим ZFS,

а другие ничего не понимают.

он назвал себя гением (якобы, ведь я такого не делал), а «мы ВСЕ тут дураки» и т.п., обычные психологические уловки.

Гениями являются разработчики ZFS, а не я, если что.

anonymous
()
Ответ на: комментарий от anonymous

так тебе аргументировать бесполезно, ты весь тред своими восклицательными знаками засрал. и смайликов побольше!!!

anonymous
()
Ответ на: комментарий от Miha

Я же тебе написал, 5 девяток. Вот когда у твоей zfs хранилки будет такой показатель, приходи.

Я тебе втираю, что часть одминов, кто эксплуатируют программные комплексы (как минимум в шарагах в твоей терминалогии), не дотягивают до твоих пяти девяток, чуть более, чем ZFS даже без Lustre. И толку от твоих 5и девяток нету, есть только пустая трата денег на них.

anonymous
()
Ответ на: комментарий от anonymous

Как бестолковость админов аргументирует превосходство ZFS над всем остальным, так и останется загадкой.

anonymous
()
Ответ на: комментарий от anonymous

не вижу восклицательных знаков в своем сообщении, на которое ты отвечал, а в твоем вижу, что ни так? опять врешь ты, а не я?

anonymous
()
Ответ на: комментарий от anonymous

Как бестолковость админов аргументирует превосходство ZFS над всем остальным, так и останется загадкой.

В определенных условиях превосходит как минимум с финансовой точки зрения даже без своего навороченного функционала. А с учетом снэпшотов (от которых не тормозит FS в отличии от VMWare), возможность их реплицировать в автоматическом режиме и многое другое, то ZFS wins.

anonymous
()
Ответ на: комментарий от anonymous

Снапы любая midrange СХД умеет из коробки, как и репликацию. Бестолковость вашу вижу, а win - нет.

anonymous
()
Ответ на: комментарий от anonymous

Снапы любая midrange СХД умеет из коробки, как и репликацию. Бестолковость вашу вижу, а win - нет.

И во сколько раз она дороже ZFS?

Nexenta clustering не обеспечивает пяти девяток?

anonymous
()
Ответ на: комментарий от anonymous

Короче, все твои аргументы сводятся к следующему, «нам Белаз не нужен, мы руду возим на тачках и счастливы». А зачем тогда задавать вопросы чем одно лучше другого?

Miha
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.