> А мне приходилось сталкиваться. Из всех сторэджей, с которыми

приходилось иметь дело, самые беспроблемные, это, пожалуй,
хай-энды от Хитачи. Весь мидрэнж - барахло, проблем с ними
выше крыши. Вот только если контроля целостности нет,
этих проблем до поры до времени не видно.

Ой, так ли во всем мидренже нет контроля целостности? (SUN откинем) Вы точно уверены? (Для пущей проверки знаний откинем заодно и NetApp 8-))

Может поэтому вы и прецедентов не знаете?

Горе от ума сплошное. 8-/

> Выделение ФС для юзера это не квоты.

конечно не квоты, если не знать как zfs устроена

надо срочно создавать lor-sun-quotes, тут только с этого треда шедевров на главную хватит.

Проигрыш ZFS в перформансе относительно традиционных ФС обусловлен сквозным подсчётом контрольных сумм (checksum=on | off | fletcher2, | fletcher4 | sha256) и распределением пространства с переменным размером блока. Традиционные ФС полагаются на достоверность транзакций аппаратного контроллёра и диска, исключая проверку контрольных сумм групп связанных блоков, ограничиваясь вычислением простого CRC файлов.

>я подозреваю вы просто не умеете ее готовить. вообще.
Вполне возможно. Такая вероятность есть всегда и везде. Но ни подтвердить ни опровергнуть это невозможно.

это просто убило. я все же настоятельно рекомендую ознакомиться с уровнем интеграции с zones и sun cluster.

А зря. ZFS это действительно не кластерная ФС.

маразм крепчал

Мне тут уже написали, систему таки докрутили, оказывается, и квоты появились. Раньше не было, а о данном улучшении я не был проинформирован.

стесняюсь спросить, а ext3/4 прямо и под соляру и винду имеется?

Нет, но ext# это просто ФС, без претензий на то, чтобы выходить за рамки posix и т.п.
ZFS - файлуха предлагаемая одним вендором. Sunом.
Ext3 поддерживается Новелем, Редхатом, Убунтой и т.п. «Заточка» под Ext3 не приведёт к несовместимости с reiser, jfs2, ufs...
Заточка под ZFS это «блюдо одного повара». Тем более, что я не умею его готовить.

Выделение ФС для юзера это не квоты.

А что это? По-моему, «если что-то выглядит как утка, плавает как утка и крякает как утка, то это, вероятно, утка и есть.».

То есть ZFS отличная ФС для нетбуков, но не тех, которые нетбуки, а тех, которые будут с парой гигов ОЗУ и четырёхядерными процами. Зачот.

Так что, меня обманули и квот по прежнему нет?

Меня не особенно волнуют причины, я говорю о том, что в реальном продакшене люди сегодня отказываются от ZFS на соляре в пользу альтернативы.

Костыль, не?

Именно! Развивайтесь вместе с нами. Новое оборудование, хотя и не «Full», но уже «Ready» для ZFS.

Меня не особенно волнуют причины, я говорю о том, что в реальном продакшене люди сегодня отказываются от ZFS на соляре в пользу альтернативы.

Альтернативы в каком виде?

Дайте Ваше определение квот ФС. Пожалуйста. Что, на Ваш взгляд должна предоставлять ФС в виде квот, какие свои ресурсы?

Тут большая проблема появляется, представляешь себе выбор - Магазин с нетбуками, и стоят два 8-ми ядерника с 6 гигами на борту, и ОС - FreeBSD/ZFS либо SunOS 5.11/ZFS.
Одуреть же

В Mac OS X ещё ZFS поддерживается неофициально.

в виде другой ФС. Я же написал вверху.

не хватало нам хакинтошей в магазине

мда. Я вот всё думал, почему квот в ZFS нет. А, оказывается, дело-то в том, что они не нужны...

Тогда вопрос, зачем же они их всё-таки сделали, а они их сделали.

>>Никто не будет рвать на себе волосы пытаясь обеспечить её поддержку в своих продуктах.

я повторюсь - а используемая в основных серверных дистрах ext где еще можно наблюдать? может есть примеры применения в среде ms win cluster или куда его там?

Посчитайте количество дистрибьюторов, которые поддерживают ext3. А Windows это ещё более закрытая платформа, нежели Солярис.

замечательный клиент, раз обладает такими навыками и знаниями, тут можно только поздравить.
но зависит все от характера приложения и от настроек фс. я наблюдал неоднократно падение производительности после миграции на zfs, но это обычно решается «тонкими» настройками.

Куда копать? Требуется обеспечить максимально быстрое выполнение сотен тысяч транзакций, это режим постоянного обновления сотен тысяч файлов.
В случае Linux делали lvm фс без журнала, на соляре, соответственно, ufs и svm

Куда копать?

В сторону выбора алгоритма подсчёта контрольных сумм, естественно.

Да, на LVM не получишь былой производительности при наличии снапшота одной из ФС.

>>А зря. ZFS это действительно не кластерная ФС.

смотря что есть для вас кластер...
для HighAvailability лучше я не знаю, честно.
а HPC я уже писал - zfs и соляру туда даже сам сан не ставит, если конечно клиент не скажет НАДО.

«Заточка» под Ext3 не приведёт к несовместимости с reiser, jfs2, ufs...

не распарсил. заточка это чито и как? то есть можно не имея ядреного модуля для ext считать данные имея драйвер для reiser или что?

Мне тут уже написали, систему таки докрутили, оказывается, и квоты появились. Раньше не было, а о данном улучшении я не был проинформирован.

было все и раньше, как уже сказали, в другом виде, нетрадиционном, но оно работало так же как и классические квоты. почитайте что есть pool в zfs и что с ним можно делать.

почитайте что есть pool в zfs и что с ним можно делать.

Кстати, уже есть свежий PDF на русском?

v15

дунно )
я как то к инглишу привычней, в плане дальнейшего применения информации, общения с коллегами и тд

Кластер в понимании распределённой системы с большим количеством хостов.

Речь идёт о том, что было в треде ранее. Там было сказано, что для того, чтобы раскрыть все прелести ZFS надо уйти от ограниченного posix и работать прямо с ФС используя все её фичи.
Такая заточка приведёт к большим затруднениям в случае необходимости миграции с ZFS. В случае с традиционными ФС такая глубока заточка с уходом от posix не требуется, а потому привязка к вендору значительно менее глубокая.

Был костыль. Санки сами признали, что это костыль, когда сделали нормально.

Значительного падения производительности не фиксируется.
Задача будет актуальна вплоть до миграции на symmetrix, там судя по тестам всё просто волшебно станет. Кстати, вместе с переходом на него тема соляриса и zfs будет закрыта. Это к вопросу о применении zfs в ынтерпрайсе...

Когда и какая ожидается следующая версия?

хех, без детального знания системы, например свеженький explorer, это гадание на кофейной гуще. какие схд, какой raid-level, какие hba, fc-sw, что за приложение? это как правило анализ не на форуме просраться, а как минимум пару дней серьезной работы.
он если все работает, проблем нет, клиент доволен - зачем копать?
или все-таки что-то тут не чисто....

на symmetrix

Это гораздо дороже «наколенных» решений.

Кстати, вместе с переходом на него тема соляриса и zfs будет закрыта.

Зато будет открыта тема с откатами, да ведь?

Там всё просто, Internal SAS 15k 600Gb, RAID-1.
После того, как поставили sunos 5.10 с дефолтным ZFS оказалось, что при пиковой нагрузке iowait становится неприличным, теряется всякое псевдо RT.
Вернули ufs - оказалось, что всё путём.
Стали тестить - получили от 5% процентов на не нагруженной, до 15% и выше при пиках на нагруженной системе.
Параметры крутили-крутили - в итоге при пиках остался примерно 15% проигрыш. Причём производительность solaris+zfs на пике оказалась даже хуже, чем rhel+ext3 без журнала. Хотя задача изначально родная для соляры.

Вариантов нет, скорости внутреннего sas не хватает уже сейчас, а нагрузка будет расти.
Симетр просто про запас, так как неизвестно, каковы границы этого роста

>>Кластер в понимании распределённой системы с большим количеством хостов.

улыбнуло, похоже ha и hpc вам ничего не говорит. по сему про кластеры с вами спорить бесполезно.

Речь идёт о том, что было в треде ранее. Там было сказано, что для того, чтобы раскрыть все прелести ZFS надо уйти от ограниченного posix и работать прямо с ФС используя все её фичи.

уйти не в прямом понимании этого слова, надо просто абстрагироваться от классических определений, для полного понимания ЧТО такое zfs и КАК его готовить.
а что может помешать перебраться обратно, на тот же ufs? не подскажете? а то вдруг тут еще пару практиков выскажут свое мнение и придется таки забросить эту гадость.

Почему же, говорит. Хотите говорить аббревиатурами - ради бога.

Я не знаю, как именно я должен отказываться от рамок posix, потому ответить не могу. Знаю лишь, что посикс очень помогает - например, вышеупомянутая задача была замечательно запущена на линуксе, на другом железе и совершенно другой ФС, хотя изначально писалась под соляру.
Это как раз оно - отсутствие глубокой анальной привязки

> Там было сказано, что для того, чтобы раскрыть все прелести ZFS надо уйти от ограниченного posix и работать прямо с ФС используя все её фичи.

Такая заточка приведёт к большим затруднениям в случае необходимости миграции с ZFS. В случае с традиционными ФС такая глубока заточка с уходом от posix не требуется, а потому привязка к вендору значительно менее глубокая.

Не, ты определенно клоун. Тебе когда снэпшот на твоем мидрэнже твоем любимом надо создать, ты ж не плачешь, что надо для этого какую команду запустить или в гуйне на баттоны покликать? Так вот ZFS позволяет и без говномидрэнжей обойтись - берешь команду zfs(1M) и создаешь снэпшотов сколько надо. В чем тут привязка-то? Захочешь от ZFS избавиться, заменишь в скрипте команду zfs на что-нибудь другое и всего делов.

Вот если, конечно, на возможность создания снимков через NFS или CIFS подсядешь путем создания файла в .zfs/snapshots/<имя снимка> - тогда да, уже завяжешься. Но ведь никто не заставляет, правда?

на вскидку
- raid1 для random write?
- размер блока у приложения какой?
- железо то какое? помимо hdd.

Привязка в том, что принципы работы с ZFS отличаются. Тут уже говорили про тонкий тюнинг, я подозреваю, что ФС настолько самобытная, что для того чтобы полноценно её юзать нужно изначально проектировать и писать всё с учётом этих особенностей. То есть, оборотной стороной специализации становится потеря универсальности, man неандертальцы vs кроманьёнцы.

> Таким образом вывод о пригодности ZFS для мобильных устройств, увы, не в её пользу.

Ты ж вроде за ынтерпрайз начинал.. Но как нетрудно увидеть из этого треда, познаний в этом самом ынтерпрайзе и тебя кот нассал, поэтому и норовишь уползти куда-нибудь в сторону.

А если на RAID-1 подвязаться?

>Вариантов нет, скорости внутреннего sas не хватает уже сейчас, а нагрузка будет расти.

zfs attach poolname olddisk newdisk1 newdisk2 newdisk3

Не?

я и до сих пор не вижу ничего зазорного в том, чтобы считать zfs системой для серьёзных а не десктопных задач

точным знанием не обладаю, но можно предположить что v22 ибо osol b134 оно самое.

ZFS прежде всего для дешёвого железа. Надёжность — самый определяющий фактор в этом случае. Уровень надёжности на дешёвом железе она обеспечивает не хуже какого-нибудь дешёвого RAID-контроллёра за 500$, но делает это силами CPU и RAM.

Благодарю.

- исторически сложилось
- файлы мелкие совсем, но в принципе можно менять налету
- IBM LS41

физически некуда пихать, нужно уходить от внутреннего стореджа

Как ты думаешь, если заказчик согласен на симетр, для него очень актуальна цена железа? :)

> Привязка в том, что принципы работы с ZFS отличаются

Столько лулзов в одном треде :-) Принципы ничем не отличаются - POSIX он и в африке POSIX. Где траву такую берешь?

Тут уже говорили про тонкий тюнинг, я подозреваю, что ФС настолько самобытная, что для того чтобы полноценно её юзать нужно изначально проектировать и писать всё с учётом этих особенностей.

Ниче не нужно. Нужно только при внедрении немного подумать головой, а не жопой. И все будет хорошо. А если думать жопой, или специально добиваться нужного результата, то можно сколь угодно плохой результат выжать из любой системы.

Держи, делюсь ссылкой:

http://developers.sun.com/solaris/docs/wp-oraclezfsconfig-0510_ds_ac2.pdf

Ну и вот тут еще больше всего интересного:

http://developers.sun.com/solaris/whitepapers/index.jsp

физически некуда пихать, нужно уходить от внутреннего стореджа

На symmetrix заявлены винчестеры до 181ГБ, вроде. Разнесение модулей по стойке(ам) решат проблему места/объёма, но всплывут проблемы с дикой латентностью.

Нигде не беру, читайте тред, это не моя идея - отказаться от posix.