Кто-нибудь юзает ZFS on Linux в продакшене?

Уже много кто использует, проблемы есть. Ты по кивкам головы считать собрался?

https://github.com/zfsonlinux/zfs/issues

А под FreeBDS нормально работает? Или нужно OpenIndiana юзать?

Просто закастуй в тред King_Carlo

На фряхе нативная zfs, работает збс.

На предыдущем проекте мы юзали

Проблем не было

30 месяцев используется у меня лично на собственных серверах с виртуализацией, знаю еще больше десятка крупных фирм которые его крутят , есть нюансы использования, это софт не из разряда сел и поехал не куря манов, нужно понимать зачем оно и видеть реальные профиты от него.

Использую на сервере, на котором хранятся логи NAT-трансляций для гэбистов. Логи пишутся в pgsql-базу, база живёт на датасете с compression=gzip-9. Пул пока состоит из одного раздела (который соседствует с LVM PV, на котором живёт система). Пишет хорошо, читает долго, но гэбисты не жалуются, а мне норм. ARC на сервере минимален. Вот и весь продакшен. Для остального застолбил себе сервачок с 16 дисками и вкатил туда SmartOS, изучаю помаленьку.

На предыдущем проекте мы юзали

Именно на линуксе? Что за проект (в плане нагрузки на ФС)?

30 месяцев используется у меня лично на собственных серверах с виртуализацией

Именно линуксовый вариант ZFS?
SSD юзаете?

нюансы использования

Какие? Вбухать блок в 1Мб и SSD-кэша чем больше, тем лучше?

Именно на линуксе (Ubuntu 12.04).

Виртуализация пишет на диск без кэша, для предотвращения потери данных. В случае с ZFS это будет очень медленно, если не использовать ZIL.

Ну я юзаю. Дома для чрутов с гентой и на работе - небольшая файлопомойка(~3Тб)

Кто-нибудь юзал в продакшене (или хотя бы на десктопе) ZFS on Linux?

Я юзаю, везде его пихаю с версии 0.6.1 :) Есть пулы с виртуальными машинами на zvol, есть файлопомойки, есть бд на zfs, есть кэши l2arc на ssd. В основном хосты на ubuntu 12.04(14.04), есть немного на centos 7, всё работает глюков нет.

Вбухать блок в 1Мб и SSD-кэша

))) не стоит использовать zfs не изучив что это такое. все тонкости (начиная от железа и кончая настройками ФС) уже писаны переписаны по 100 раз даже здесь на этом форуме.

Кто-нибудь юзал в продакшене (или хотя бы на десктопе) ZFS on Linux?

О чем разговор proxmox уже во всю интегрировал в себя ZOL - http://www.proxmox.com/

что почем и как настраивать под zfs виртуализацию есть немного здесь - http://pve.proxmox.com/wiki/Storage:_ZFS

qcow2 верхом на zvol для kvm без кеша.

небольшая файлопомойка
3Тб

По-моему это если не очень_большая, то как минимум большая файлопомойка. Или там диск на 3тб, но не все 3 забиты ?

А баги по ссылке в шапке - это, типа, норм?

не стоит использовать zfs не изучив что это такое. все тонкости (начиная от железа и кончая настройками ФС) уже писаны переписаны по 100 раз даже здесь на этом форуме.

ZFS - это generic purpose, не?

Да, аристократы и дегенераты.

баги по ссылке

А ты их внимательно читал, их большая часть как раз от тех кто маны не читал и не понимают зачем им zfs и что они вообще делают. особенно улыбнул баг от вкорячевшнго zfs на i386 c raidz на 2-х дисках, или вот этот перл - https://github.com/zfsonlinux/zfs/issues/3735 чувачки вообще доки не хотят читать.

Юзаем зфс клоны для образов виртуалок для интеграционных тестов. Создаются/удаляются сотни клонов в день. Бывало такое что вольюм отказывался удаляться, и накапливались «зомби», но сейчас стало все норм, и я так и не понял что это было.

А ZFS уже умеет i386?

http://zfsonlinux.org/faq.html

1.6 Why should I use a 64-bit system?
You are strongly encouraged to use a 64-bit kernel. At the moment zfs will build in a 32-bit environment but will not run stably.

In the Solaris kernel it is common practice to make heavy use of the virtual address space because it is designed to work well. However, in the Linux kernel most memory is addressed with a physical address and use of the virtual address space is strongly discouraged. This is particularly true on 32-bit arches where the virtual address space is limited to roughly 100MiB by default. Using the virtual address space on 64-bit Linux kernels is also discouraged. But in this case the address space is so much larger than physical memory it is not as much of an issue.

If you are bumping up against the virtual memory limit you will see the following message in your system logs. You can increase the virtual address size with the boot option vmalloc=512M.

vmap allocation for size 4198400 failed: use vmalloc=<size> to increase size.

However, even after making this change your system will likely not be entirely stable. Proper support for 32-bit systems is contingent upon the zfs code being weaned off its dependence on virtual memory. This will take some time to do correctly but it is planned for the Linux port. This change is also expected to improve how efficiently zfs utilizes the systems memory. And can be further leveraged to allow tighter integration with the standard Linux VM mechanisms.

я понимаю что людям впадлу читать, они хотят сразу вперед на танки

zfs на i386

как говориться - дураку стеклянный хер не на долго.

я понимаю что людям впадлу читать, они хотят сразу вперед на танки

И гадить в багтрекер сразу бежать :)

Забито где-то терабайта полтора. Но под небольшой я имел ввиду что потребители ~5 человек

Не сталкиваюсь с ними - мне норм

А ZFS уже умеет i386?

32-битные-only серверные процессоры Intel перестал производить давно.

ничего нового, 2.5 Д'Артаньяна юзающих это на локалхосте. dvrts, сказочник, в проект пришел на все готовое, планировали, внедряли, писали скрипты без него, зато «наш проект» - он там на уровне уборщицы

proxmox уже во всю интегрировал в себя ZOL

Они вроде так и не научились использовать снапшоты zfs для виртуалок

не научились использовать снапшоты zfs для виртуалок

http://pve.proxmox.com/wiki/Storage:_ZFS

General ZFS advantages

Easy configuration and management with Proxmox VE GUI and CLI.
Reliable
Protection against data corruption
Data compression on file-system level
Snapshots
Copy-on-write clone

там zvol у них вроде нет еще полноценной поддержки.

SmartOS умеет, в прохмохе очень хотелось бы. Там виртуалки и контейнеры живут как датасеты-клоны (или оверлеи?) первичных образов. Удобненько.

proxmox в следующем релизе будет lxc юзать - оно должно уметь снапшоты zfs из коробки

А вот это интнресно! А то у меня с коллегой холивар: SmartOS + ZFS против Proxmox + LVM. Может, разрешим третьим путём. :)

https://events.yandex.ru/lib/talks/2694/

Она уже и ARM умеет

Напоминаю, что поддержка TRIM для vdev есть только в FreeBSD и Nexenta.

lxc
SmartOS + ZFS против Proxmox + LVM

lxc, zfs - годно

Proxmox,LVM - ненужно

32-битные-only серверные процессоры Intel перестал производить давно.

ORLY?! А я то думал, что нас девяностые... Хотя по уровню экономики...

Баян, видел.

Пруф или не было.

Напоминаю, что поддержка TRIM для vdev есть только в FreeBSD и Nexenta.

А в линуксе даже оффлайногово нет?

Нет. Есть очень старый порт из фряхи и недавний порт из нексенты, но оба висят в пулл-реквестах.

В SmartOS, кстати, в данный момент пилят поддержу lxc-подобных контейнеров с линуксом внутри (зовутся lx-brand). Точно работают CentOS 6 и другие дистры без Systemd. С новенькими пока ещё есть проблемы из-за всяких linux-only штук, которые использует systemd.

Напоминаю, что в illumos есть лучше реализация, основанная на слежении за metaslab allocator.

Раз ты так в солярках разбираешься, расскажи, в чём сейчас разница между Illumos и OpenIndiana. Судя по датам обновления, они обе пилятся.

в чём сейчас разница между Illumos и OpenIndiana

Одно - ядро, другое - ОС.

А что свежее? Или SmartOS нужно юзать?

Illumos - ядро. OpenIndiana, OmniOS и SmartOS - дистры. Как Linux и Fedora/Debian/CoreOS.

Смартось не требует установки на HDD. Грузи образ либо с USB, либо с CD, либо грузи образ по PXE. Если не заморачиваться по lx, то можно более-менее свободно бегать вверх\вниз по версиям. Управление в смартоси очень хитрое - сама система это Global Zone, в ней нет ничего, кроме базового софта и системы управления VM/хранилищем/образами. Если очень понадобится, можно поставить пакетный менеджер в основную систему. Конфиг системы и инфа о твоих VM живёт прямо в ZFS-пуле и от самой системы не зависит.

Если нужна более-менее модная система управления виртуалками, то тебе пригодится либо Joyent SmartDataCenter (что-то вроде форка SmartOS от её же разработчиков, с веб-интерфейсом и крутыми фишками), либо Project FiFo (опенсорсный проект от сообщества, ставится как служба, поддерживает кластерное хранилище LeoFS, которое можно хостить и на Linux).

P.S.: Я сам использую FiFo, в принципе нужные мне задачи (быстрое создание\управление VM, какой-никакой мониторинг, веб-консоль для VM) выполняет. LeoFS тоже использую. Если решишь заюзать - будь внимателен: с версии 0.6.2 FiFo полностью переходит на LeoFS, «голое» хранилище VM/образов поддериваться не будет!

Весьма интересно. Можете ко мне в джаббер добавиться?