Блочная дедупликация в Linux

В квотезы

Я увидел что оно написано на яве и пришёл к выводу - говно.

чушь. оно работает, но хреновато. zfs эффективнее.

на самом деле стоит глянуть на quadstor.

PS дедупликация в zfs хоть и работает, но так жрет ресурсы что ее не рекомендуют включать, если мало памяти и процессоров. компрессия зато, выглядит намного лучше.

по фиберченнелу или айскази. Завтра попробую погонять зфс в плане иопсов и скорости с врубленой дедупликацией

надо городить нетривиальщину, хотя в наше время это не сложно:

1. massive-smp

2. много памяти

3. ssd cache disks

4. jbod support на дисках (много vd в raid0 не канает)

имхо при таком раскладе проще взять нексенту

У меня тут просто на горизонте VDI маячит на 300+ десктопов

можно взять нормальный SAN с настоящей дедупликацией (XtremIO это офигенно и дорого) и сэкономить на vmware используя RHEV. У меня под ним VDI на тысячи рабочих мест бегали уже в 2008

Оффтоп. Какое железо + ПО позволит экспортировать диск по fc ?

любая современная ОС и FC HBA

XtremIO это офигенно и дорого

Очень офигенный у них disruptive fw update, а также disruptive добавление brick-ов, сразу видно солидная контора, ничего не скажешь :)

это да, Шахар свалил и вся контора пошла под откос :) сейчас недавно infinidat вышли из stealth mode, они тоже интересно смотрятся.

просто xtremIO были вроде как первые кто сделал по настоящему хорошую дедупликацию на лету, IB бекплейн и линейно растущую производительность.а проблемы с апдейтами и их собственным псевдо-LVM это баги которые должны выпилить

Так уж год прошёл, сколько можно? хотя чего ещё ожидать от маркетинговой конторы, им не впервой заявлять о функциональности, которая может-быть, когда-нибудь появится/начнёт работать как надо )

чушь. оно работает, но хреновато. zfs эффективне

Не вижу противоречий с понятием «говно»

4. jbod support на дисках (много vd в raid0 не канает)

Не совсем понял о чём речь - об отказе от рейдконтроллера и переходе на HBA? Ну, это не сложно, если будет необходимость.

С другой стороны - зачем грузить процессор ZFSными рейдами, если можно отдать это дело на откуп контроллеру, а ZFS будет полностью поглощён дедупликацией :)

имхо при таком раскладе проще взять нексенту

Читал несколько очень нехороших отзывов о ней - залипала, latency взлетал, еще что-то.

можно взять нормальный SAN с настоящей дедупликацией (XtremIO это офигенно и дорого) и сэкономить на vmware используя RHEV. У меня под ним VDI на тысячи рабочих мест бегали уже в 2008

Нене, оно сырое, судя по всему, и очень активно пиарится, не люблю агрессивный маркетинг при таких серьезных косяках за пазухой (я про апдейт софта через backup/restore и при добавлении брика)

Плюс денег я на нее не выбью - мне проще и дешевле еще пару полок ссдшками набить и забить на дедупликацию вообще, скорее всего я так и сделаю :)

Не вижу противоречий с понятием «говно»

«чушь» было о том что виновата жаба. жабу тоже можно приготовить, птосто сам проект тухловат

Не совсем понял о чём речь - об отказе от рейдконтроллера и переходе на HBA? Ну, это не сложно, если будет необходимость.

ага, именно об этом

С другой стороны - зачем грузить процессор ZFSными рейдами, если можно отдать это дело на откуп контроллеру, а ZFS будет полностью поглощён дедупликацией :)

не пройдет. zfs нужен максимально прямой доступ к дискам, на рейдах (то есть абстракциях над настоящим железом) он тормозит и глючит.

Читал несколько очень нехороших отзывов о ней - залипала, latency взлетал, еще что-то.

нексента - просто гуй и управлялка над солярисовым (а значит самым кашерным) zfs. если там проблемы со стабильностью то это проблемы солярки и/или zfs как таковых

Нене, оно сырое, судя по всему, и очень активно пиарится, не люблю агрессивный маркетинг при таких серьезных косяках за пазухой (я про апдейт софта через backup/restore и при добавлении брика)

не обязательно его, просто дедупликация у нетаппов только в оффлайне и вообще она ужасна, а xtremio дает офигенную производительность и наверное самый эффективный дедуп из всех с которыми я имел дело. причем я с ними работал еще до того как ЕМС их купили.

Плюс денег я на нее не выбью - мне проще и дешевле еще пару полок ссдшками набить и забить на дедупликацию вообще, скорее всего я так и сделаю :)

ssd дорогие, и места мало дают, потому и нужна дедупликация. кстати, есть и другие решения - fusionIO например, и прочие кэширующие девайсы как в хостах так и между хостом и обычным медленным SAN

на рейдах (то есть абстракциях над настоящим железом) он тормозит и глючит.

Фигня это всё, единственное, что ты теряешь - это self-healing. Если делаешь рэйд средствами zfs, то да, лучше давать прямой доступ, как ты говоришь, т.е. sda, а не sda1.

нексента - просто гуй и управлялка над солярисовым

Не совсем - это ядро illumos и гнутый юзерспейс от убанты, которые можно собрать через одно место, я её даже когда-то рассматривал под домашний нас, но выбрал omnios :)

юзерспейс вряд ли отвечает за тормоза и глюки ядра и ФС

Однако, нексента проигрывала omnios на моих домашних игрищах с bonnie, хотя обе на illumos, но второй Ъ солярис. Но больше я нексенту нигде не пробовал.
А негативные отзывы могут быть и от кривых рук использующего, иногда достаточно правильно выставить zfs_vdev_max_pending(это к железным рэйдам особенно относится) или ещё чего покрутить.

ну да, как у нас говорят - YMMV

agree

«чушь» было о том что виновата жаба. жабу тоже можно приготовить, птосто сам проект тухловат

Мне кажется, что жаба и прочие подобные прослойки не смогут обеспечить должного latency и скорости при работе с блочными устройствами. Только ядро, только Си, только хардкор.

не пройдет. zfs нужен максимально прямой доступ к дискам, на рейдах (то есть абстракциях над настоящим железом) он тормозит и глючит.

Ничего ему не нужно. Ему вообще до фонаря. Ему дают блочное устройство и он с ним работает. Если нету рейда, то тем более. У меня ZFS поверх dm-crypt устройств давно работает без проблем.

нексента - просто гуй и управлялка над солярисовым (а значит самым кашерным) zfs. если там проблемы со стабильностью то это проблемы солярки и/или zfs как таковых

http://habrahabr.ru/company/hostkey/blog/179151/ Там, конечно, авторы несколько халатно отнеслись к сборке СХД, но всё же. И еще какая-то была статья. А так, в общем, годная вещь.

ssd дорогие, и места мало дают, потому и нужна дедупликация.

Это понятно. Просто если будет выбор купить xtremio за энное кол-во лимонов в которм 1 полка на 24 диска или купить 96-128 штук SAS SSD вдвое дешевле, то ну ее нафиг эту дедупликацию :)

http://habrahabr.ru/company/hostkey/blog/179151/

Там есть один комментарий кратко описывающий происходящее
«У нексенты масса нерешенных проблем, что-то вроде iSCSI hangs on heavy IO load, удаление дедуплицируемого тома и прочие. Часть из них пофиксили в 3.1.4, часть в 4й ветке. Но вы не описали ни один их них. Все эти «шокирующие детали» результат плохого знания мат.части и недостаточно глубокого анализа выбранного продукта.»

На форумах говорят, ... , что тип LUN надо менять и т.п.

тоже достаточно наглядно это демонстрирует.

Мне кажется, что жаба и прочие подобные прослойки не смогут обеспечить должного latency и скорости при работе с блочными устройствами. Только ядро, только Си, только хардкор.

насколько я понимаю, жаба управляет хранением и обработкой хэшей (а с мультитредингом и нее все в порядке), доступ к блокам, скорее всего как раз хардкорный.

Ничего ему не нужно. Ему вообще до фонаря. Ему дают блочное устройство и он с ним работает. Если нету рейда, то тем более. У меня ZFS поверх dm-crypt устройств давно работает без проблем.

«без проблем» - понятие растяжимое.

http://habrahabr.ru/company/hostkey/blog/179151/ Там, конечно, авторы несколько халатно отнеслись к сборке СХД, но всё же. И еще какая-то была статья. А так, в общем, годная вещь.

у меня нексенты на тестовых площадках насиловалась QAщиками по полной программе. сборка на двухсокетовых супермикрах с ssd и sas. помимо того факта что надо было выключать девайс чтоб заменить один диск, работало оно более чем неплохо.

Это понятно. Просто если будет выбор купить xtremio за энное кол-во лимонов в которм 1 полка на 24 диска или купить 96-128 штук SAS SSD вдвое дешевле, то ну ее нафиг эту дедупликацию :)

это зависит от задач. с нормально работающей дедупликацией, такие гадости как VDI очень выигрывают, а обычный SVI почти никак. хотя и тут все от конкретики зависит