История изменений

До этого я строгал mdadm/lvm сервера и в ус не дул, но там меня производительность почти не волновала.

Я был очень приятно удивлён, но: mdadm+lvm+lvmcache (writeback+smq)+банальный ext4+raw(qcow2 - пока не пробовал, но разницы думаю не будет), дали ОЧЕНЬ приятный результат. Попадание в кеш SSD - 100% (ну вестимо пока он не переполнится).

Win2008R2+MSSQL2008+1c 8.2+Гилёв - дали мне 31-37 попугаев. Вирт машине отдавал: 3ядра (3,4 ГГц), 2ГБ ОЗУ. По количеству пользователей, Гилёв мне давал разные оценки в зависимости от изменения настроек. Максимально что выдавал: 77пользователей.

В dmesg - никаких намёков на ошибки и нету, в отличии от zfs. Zfs on linux - очень, очень крутая штука. Но, я не могу просто позволить себе допустить фейлы - с остановкой вирт. машины в продакшене...

Чем заменить сжатие: ну можно использовать сжатие NTFS в видне. Или на линукс вирт. машинах, внутри машины - ставить zfs, и монтировать её как файловую систему (т.е. без zvol).

zfs send -i в LVM

Есть! С костылями, но есть. :) Мне на форуме в своё время тут её рекомендовал эту штуку с github (блин, не сохранил ссылку). Там в общем есть набор скриптов, которые это умеют делать. Сейчас погляжу.

Из плюсов mdadm+lvm+cache+ext4, над zfs:

• Нативно
• Не нужно выделять памяти для ARC
• ext4 не фрагментируется - и есть средство для дефграментации онлайн. Скажем, zfs, через пол годика работы со снепшотами - фрагментируется процентов так на 80... Против 4-6% - у ext. Но у zfs, кроме как пересоздавать том - нету особых средств для лечения.
• Работает очень быстро и предсказуемо (пока не нашёл проблем, во всяком случае)
• Можно уменьшать

Из минусов:

• Не умеет сжатие (лечится файловыми системами, с оным внутри виртуалок)
• Реализация снепшотов - плохая. (Зато нету фрагментации! Лечится тем, что можно положить на ext4 - qcow2 образы виртуалок и там снепшотить)
• zfs send -i отсутствует... Как класс. (лечится скриптами, с github. Пока не проверял.)
• mdadm в имплементации raid1/10 - не умеет делать scrub. Точнее делать то его умеет, но будет выдавать тучу ошибок, о якобы битых блоках. И это нормально - такая вот реализация. (лечится дисками с TLER, и регулярным скраббингом, чтобы выбивать из массива диски которые не успели отозваться за 7сек)

В общем то, всё остальное в zfs on linux - все фичи, вроде прав доступа, nfs и т.д. - в лучшем случае в Linux работают на половину, а в остальном - часть фич или не работает вовсе, или работает хреново (например, планировщик чтения, с массива, работает только в round robin и т.д.).

Это не значит, что я теперь хейтер zfs, но надо всё же взвесить все за и против... Скажем так... - Я с zfs (без zvol), в продакшене, живу больше года. На zvol вот увидел проблему. Фатальную проблему. Так что надо всё ещё раз взвесить. Ибо в случае факапа, я буду писать сюда из горящего танка и срать кирпичами...

До этого я строгал mdadm/lvm сервера и в ус не дул, но там меня производительность почти не волновала.

Я был очень приятно удивлён, но: mdadm+lvm+lvmcache (writeback+smq)+банальный ext4+raw(qcow2 - пока не пробовал, но разницы думаю не будет), дали ОЧЕНЬ приятный результат. Попадание в кеш SSD - 100% (ну вестимо пока он не переполнится).

Win2008R2+MSSQL2008+1c 8.2+Гилёв - дали мне 31-37 попугаев. Вирт машине отдавал: 3ядра (3,4 ГГц), 2ГБ ОЗУ. По количеству пользователей, Гилёв мне давал разные оценки в зависимости от изменения настроек. Максимально что выдавал: 77пользователей.

В dmesg - никаких намёков на ошибки и нету, в отличии от zfs. Zfs on linux - очень, очень крутая штука. Но, я не могу просто позволить себе допустить фейлы - с остановкой вирт. машины в продакшене...

Чем заменить сжатие: ну можно использовать сжатие NTFS в видне. Или на линукс вирт. машинах, внутри машины - ставить zfs, и монтировать её как файловую систему (т.е. без zvol).

zfs send -i в LVM

Есть! С костылями, но есть. :) Мне на форуме в своё время тут её рекомендовал эту штуку с github (блин, не сохранил ссылку). Там в общем есть набор скриптов, которые это умеют делать. Сейчас погляжу.

Из плюсов mdadm+lvm+cache+ext4, над zfs:

• Нативно
• Не нужно выделять памяти для ARC
• ext4 не фрагментируется - и есть средство для дефграментации онлайн. Скажем, zfs, через пол годика работы со снепшотами - фрагментируется процентов так на 80... Против 4-6% - у ext. Но у zfs, кроме как пересоздавать том - нету особых средств для лечения.
• Работает очень быстро и предсказуемо (пока не нашёл проблем, во всяком случае)
• Можно уменьшать

Из минусов:

• Не умеет сжатие (лечится файловыми системами с оным внутри виртуалок)
• Реализация снепшотов - плохая. (Зато нету фрагментации! Лечится тем, что можно положить на ext4 - qcow2 образы виртуалок и там снепшотить)
• zfs send -i отсутствует... Как класс. (лечится скриптами с github. Пока не проверял.)
• mdadm в имплементации raid1/10 - не умеет делать scrub. Точнее делать то его умеет, но будет выдавать тучу ошибок, о якобы битых блоках. И это нормально - такая вот реализация. (лечится дисками с TLER, и регулярным скраббингом, чтобы выбивать из массива диски которые не успели отозваться за 7сек)

В общем то, всё остальное в zfs on linux - все фичи, вроде прав доступа, nfs и т.д. - в лучшем случае в Linux работают на половину, а в остальном - часть фич или не работает вовсе, или работает хреново (например планировщик чтения с массива, работает только в round robin и т.д.).

Это не значит, что я теперь хейтер zfs, но надо всё же взвесить все за и против... Скажем так... - Я с zfs (без zvol), в продакшене, живу больше года. На zvol вот увидел проблему. Фатальную проблему. Так что надо всё ещё раз взвесить. Ибо в случае факапа, я буду писать сюда из горящего танка и срать кирпичами...

До этого я строгал mdadm/lvm сервера и в ус не дул, но там меня производительность почти не волновала.

Я был очень приятно удивлён, но: mdadm+lvm+lvmcache (writeback+smq)+банальный ext4+raw(qcow2 - пока не пробовал, но разницы думаю не будет), дали ОЧЕНЬ приятный результат. Попадание в кеш SSD - 100% (ну вестимо пока он не переполнится).

Win2008R2+MSSQL2008+1c 8.2+Гилёв - дали мне 31-37 попугаев. Вирт машине отдавал: 3ядра (3,4 ГГц), 2ГБ ОЗУ. По количеству пользователей, Гилёв мне давал разные оценки в зависимости от изменения настроек. Максимально что выдавал: 77пользователей.

В dmesg - никаких намёков на ошибки и нету, в отличии от zfs. Zfs on linux - очень, очень крутая штука. Но, я не могу просто позволить себе допустить фейлы - с остановкой вирт. машины в продакшене...

Чем заменить сжатие: ну можно использовать сжатие NTFS в видне. Или на линукс вирт. машинах, внутри машины - ставить zfs, и монтировать её как файловую систему (т.е. без zvol).

zfs send -i в LVM

Есть! С костылями, но есть. :) Мне на форуме в своё время тут её рекомендовал эту штуку с github (блин, не сохранил ссылку). Там в общем есть набор скриптов, которые это умеют делать. Сейчас погляжу.

Из плюсов mdadm+lvm+cache+ext4, над zfs:

• Нативно
• Не нужно выделять памяти для ARC
• ext4 не фрагментируется - и есть средство для дефграментации онлайн
• Работает очень быстро и предсказуемо (пока не нашёл проблем, во всяком случае)
• Можно уменьшать

Из минусов:

• Не умеет сжатие (лечится файловыми системами с оным внутри виртуалок)
• Реализация снепшотов - плохая. (Зато нету фрагментации! Лечится тем, что можно положить на ext4 - qcow2 образы виртуалок и там снепшотить)
• zfs send -i отсутствует... Как класс. (лечится скриптами с github. Пока не проверял.)
• mdadm в имплементации raid1/10 - не умеет делать scrub. Точнее делать то его умеет, но будет выдавать тучу ошибок, о якобы битых блоках. И это нормально - такая вот реализация. (лечится дисками с TLER, и регулярным скраббингом, чтобы выбивать из массива диски которые не успели отозваться за 7сек)

В общем то, всё остальное в zfs on linux - все фичи, вроде прав доступа, nfs и т.д. - в лучшем случае в Linux работают на половину, а в остальном - часть фич или не работает вовсе, или работает хреново (например планировщик чтения с массива, работает только в round robin и т.д.).

Это не значит, что я теперь хейтер zfs, но надо всё же взвесить все за и против... Скажем так... - Я с zfs (без zvol), в продакшене, живу больше года. На zvol вот увидел проблему. Фатальную проблему. Так что надо всё ещё раз взвесить. Ибо в случае факапа, я буду писать сюда из горящего танка и срать кирпичами...