Apple прекращает поддержку ZFS

>А ZFS мне кажется локальным решением - наверное удобно и просто, полчаса чтения манов и ты "админ"

решение локально до тех пор, пока какой-нибудь крупный вендор не начнет его использовать активно. сам я zfs не эксплуатировал (только игрался), так что поддерживаю не конкретно эту систему, а саму идею. кстати, SUN какие-то сторожки двигает на базе zfs

>SUN какие-то сторожки двигает на базе zfs

Так говорю же серия SS7000 оно же Unified Storage. http://www.sun.com/storage/disk_systems/unified_storage/7410/specs.xml

Это файлер с zfs внутри. Прямой конкурент нетапу, точнее санкам так хочется думать.

А теперь выведи диск из пула?

Это называется «Перевод устройства в автономный режим»:

# zpool offline zeepool c1t0d0

Виртуальные устройства верхнего уровня (mirror, raid-z и два устройства из raid-z) в автономный режим из пула не выводятся. Кстати, этот перевод не позволит заменить, возможно, неисправный диск — автономный режим считается временным. Для замены неисправного диска нужно использовать другую команду.

Чтобы полностью перестроить пул, например, чтобы уменьшить его физический размер за счёт удаления дисков и/или за счёт перестройки конфигурации виртуальных устройств в пуле, нужно использовать снимки ZFS.

>Виртуальные устройства верхнего уровня (mirror, raid-z и два устройства из raid-z) в автономный режим из пула не выводятся. Кстати, этот перевод не позволит заменить, возможно, неисправный диск — автономный режим считается временным. Для замены неисправного диска нужно использовать другую команду.

>Чтобы полностью перестроить пул, например, чтобы уменьшить его физический размер за счёт удаления дисков и/или за счёт перестройки конфигурации виртуальных устройств в пуле, нужно использовать снимки ZFS.

Слишком сложно. Не бьется с концепцией ;)

ЗЫ Я ман по zpool посмотрел вообще-то, так что наверное ликбез проводить без нужды.

>Так говорю же серия SS7000

ага, посмотрел. я сначала подумал что речь шла о каком-то хитачи. попробовать было бы интересно, не в последнюю очередь из-за отсутствия этого млядства с лицензиями, которое развели остальные игроки

>>Чтобы полностью перестроить пул, например, чтобы уменьшить его физический размер за счёт удаления дисков и/или за счёт перестройки конфигурации виртуальных устройств в пуле, нужно использовать снимки ZFS.

>Слишком сложно. Не бьется с концепцией ;)

да, тут они не доработали немного ;) вроде бы никаких принципиальных ограничений нет, может еще исправятся.

> Слишком сложно. Не бьется с концепцией ;)

Так вроде требования к пространству растут только, так что приходится добавлять главным образом. А перераспределиться оно внутри пула само перераспределяется.

Ну и вроде народ работает над удалением устройств

> попробовать было бы интересно

Можно взять симулятор и попробовать в виртуальной машине. Подсказать где берут?

Слишком сложно. Не бьется с концепцией ;)

А концепция такая: zpool == расширяемый виртуальный stripe массив. :D

Так что нужно думать, прежде чем что-то добавлять в пул.

Сейчас у меня в пуле одно виртуальное устройство верхнего уровня (mirror, ~298ГБ). Свободного места около 10ГБ— каши пока не просит, но могу удалить файлы и освободить около 70ГБ. В следующем году, когда подешевеют накопители на 500ГБ, прикуплю ещё парочку, добавлю их в пул как ещё одно виртуальное устройство верхнего уровня (mirror, ~498ГБ). Пул станет размером около 800ГБ, и скорость записи возрастёт примерно в два раза, так как фактически получится RAID-10 из четырёх (два зеркала по два) дисков в пуле.

>Можно взять симулятор и попробовать в виртуальной машине. Подсказать где берут?

спасибо, но у меня есть сотни полторы машин, для которых zfs как родная ;) попробовать было бы интересно реальную железку

>А концепция такая: zpool == расширяемый виртуальный stripe массив. :D

А если stripe - слишком стрёмно? :)

> А если stripe - слишком стрёмно? :)

raid-z или raid-z2 или зеркало. что тебя смущает?

>>А концепция такая: zpool == расширяемый виртуальный stripe массив. :D

>А если stripe - слишком стрёмно? :)

Кстати, stripe в обычном понимании и то, что известно как динамическое чередование в ZFS - вещи несколько разные.

В ZFS наличии нескольких устройств верхнего уровня нагрузка распределяется между ними. По умолчанию, переключение происходит каждые 512 КБ (или четыре максимальных размера блока). Для только что добавленных в пул устройств это значение может увеличиваться на четверть для того, чтобы выравнивать уровень использования пространства. Примерно так в общих чертах.

> попробовать было бы интересно реальную железку

Если для тестирования производительности и всяких там ReadZill и LogZill - то да, без реальной железки не обойтись. А если в плане функциональности - то симулятор с точки зрения возможностей абсолютно аналогичен реальной железке. Во всяком случае, так утверждается.

>а объектный интерфейс, придется переделывать все файловые системы, чтобы они могли им пользоваться,

Ну так этим будут заниматься разработчики других файловых систем а не разработчики ZFS. Вопрос в принципиальном отсутствии такого разделения по уровням абстракции.
Фактически их должно быть:
1. Собственно железяка.
2. RAID, собранный из этих железяк.
3. логические разделы поверх RAID.
4. Файловая система.

В случае с ZFS мы имеем 2,3 и 4-й пункт интегрированные в одно целое. Это снижает гибкость всей конструкции, верно?
Если разделить условно на 3 части:
1. zfs-sw-raid
2. zfs-lv-control
3. zfs-fs
И обеспечить API для взаимодействия как самих компонентов так и написанных сторонними разработчиками получится ещё более замечательный продукт чем он есть сейчас)
Zvol'ы, на сколько я понимаю тут будут половинчатым вариантом.

>> Еще если настроить NFS на ZFS, то после полной переустановки системы и подключения пула ZFS с этой настройкой, NFS уже оказывается настроен нужным образом.

слишком много достоинств , чтобы так быстро закопали

> Ну так этим будут заниматься разработчики других файловых систем а не разработчики ZFS.

Будут ли? Я что-то не наблюдаю в zfs-discuss толпы желающих сделать какую-нибудь другую файловую систему клиентом ZFS DMU. Да и какой в этом смысл? Еще одна реализация интерфейса POSIX поверх объектного хранилища? Не поясните, в чем вам видится профит?

> Вопрос в принципиальном отсутствии такого разделения по уровням абстракции.

Может хватит уже? Принципиальное разделение по уровням там есть - ZPL/DMU/SPA.

> Фактически их должно быть:
> 1. Собственно железяка.
> 2. RAID, собранный из этих железяк.
> 3. логические разделы поверх RAID.
> 4. Файловая система.

Это ваша точка зрения на проблему, совпадающая с традиционной. Но она не единственная возможная. Или вы живете по принципу: "мнений может быть только два - мое и неправильное"?

> В случае с ZFS мы имеем 2,3 и 4-й пункт интегрированные в одно целое. Это снижает гибкость всей конструкции, верно?

С точки зрения традиционного подхода - да, снижает. Но выделять предлагаемые вами части с интерфейсами блочного устройства нет смысла - таких решений полно и без этого. А если посмотреть на это свежим взглядом, и понять, что ZPL/DMU/SPA тоже деление на уровни, которыми можно пользоваться, то окажется, что гибкости то даже поболе будет.

Вот, кстати, пример одного из будущих клиентов DMU:

http://arch.lustre.org/index.php?title=Architecture_ZFS_for_Lustre

> В случае с ZFS мы имеем 2,3 и 4-й пункт интегрированные в одно целое. Это снижает гибкость всей конструкции, верно?

Можно конкретный пример снижения гибкости данной конструкции?

Пока я вижу что граждане кидающиеся какашками в ZFS выдали примерно следующее: 1. ZFS не соответствует концепции (созданной 20 лет назад) 2. ZFS не UNIX way 3. ZFS монстр с 8 ногами и 10 руками 4. ZFS не нужна (что видимо означает - я не могу ее использовать, зато использую LVM).

Смешно? :)

Ну так этим будут заниматься разработчики других файловых систем а не разработчики ZFS.

Будут ли? Я что-то не наблюдаю в zfs-discuss толпы желающих сделать какую-нибудь другую файловую систему клиентом ZFS DMU. Да и какой в этом смысл? Еще одна реализация интерфейса POSIX поверх объектного хранилища? Не поясните, в чем вам видится профит?

Например, UFS2 в zpool прозрачно создаётся (поверх ZVOL). GZIP-сжатие — тоже клиентская часть ZFS DMU, если не сильно ошибаюсь. Опять же, кластерная система Lustre используется ZFS в качестве хранилища своих объектов.

>Фактически их должно быть:
>1. Собственно железяка.
>2. RAID, собранный из этих железяк.
>3. логические разделы поверх RAID.
>4. Файловая система.

Фактически так и есть:
1. Железяки.
2. Побитые или не побитые на разделы железяки — уровень представления адресуемого пространства (GEOM).
3. zpool — уровень логических томов.
4. ZFS (или UFS2 в zpool).

Тогда вопрос следующий:
Есть ли возможность любой из этих уровней заменить чем нибудь другим?
ИМХО, именно этого и не хватает в данном случае.

З.Ы. и rw драйвера нативно в ядре)

> Тогда вопрос следующий: > Есть ли возможность любой из этих уровней заменить чем нибудь другим?

Зачем это вам нужно? Чем не устраивает то, что уже есть? Какой уровень и чем бы вы хотели заменить и почему? Можете сформулировать?

А если так хочется заменить - так зачем дело встало? Вы ж говорили, что этой заменой могут заняться кто-нибудь помимо разработчиков ZFS. Вот и займитесь :-)

> З.Ы. и rw драйвера нативно в ядре)

Scott_tiger: как в воду глядел :-)

>Есть ли возможность любой из этих уровней заменить чем нибудь другим?

GEOM в FreeBSD нельзя заменить, остальное — можно.

>> Тогда вопрос следующий: Есть ли возможность любой из этих уровней заменить чем нибудь другим?

> Зачем это вам нужно? Чем не устраивает то, что уже есть? Какой уровень и чем бы вы хотели заменить и почему? Можете сформулировать?

Хе-хе. Сдается мне что LVM он рулез только в линуксе, посколько ест гибкость - можно его использовать а можно не сипользовать. И jfs тоже, хочешь используй, не хочешь - выбирай из полудюжины других.

А вот в AIX например ни от LVM ни от jfs ну ваще никуда. Никакой гибкости :) Можно, конечно, за отдельные деньги закупить VxFS с ихним-же вольюм менеджером и хоть немного почувствовать себя человеком.

Еще от меня 5 копеек в поддержку ZFS. Как показывает практика, на многопроцессорных серверах и на неплохих дисковых массивах создание нескольких точек монтирования вместо одной на одном и том-же устройстве (томе, пуле и т.п.) дает заметный прирост производетельности ввода-вывода. Тесты показали что 4 точки монтирования (равномерное распределение операций ввода вывода) по сравнению с одной дают прирост до 25% на одних и тех-же физических устройствах. В реальных условиях разработчики говорят о "процентах 15" что тоже нехреново. Так вот ZFS позволяет нарезать практически любое число файловых систем (точек монтиования) без головной боли типа "какая ФС какого размера и где какой запас делать". Точка контроля одна - свободное место в пуле.

> 4. ZFS (или UFS2 в zpool).

В zvol ? Кстати, пробовал как работает? :) на соляре пробовал только как способ размещать redo log оракловые. Получилось что лучше так не делать :) Заметно хуже чем ufs+forcedirectio. С другой стороны raw zvolumes - вполне себе рулят.