Потеря данных из-за несовместимости ZFS с WD SMR дисками

все действия должны выполняться в памяти, а на диск сбрасываться линейные данные, и тогда не важно, диск это или usb 2.0 флеш. пусть переделывают свою zfs. а памяти мужики ещё докинут.

А что, под домашним NAS подразумевается сервер на солярке?

А что, под домашним NAS подразумевается сервер на солярке?

Ну уж точно не на NTFS.

ZFS — это production-ready решение под Solaris, OpenSolaris, FreeBSD и Linux (не актуально после заявлений Грега и принятия его позиции Линусом; читай — Linux теперь не годится для NAS ☺).

Если у тебя есть такие же скалируемые и отказоустойчивые софтварные решения — я готов их принять.

пусть переделывают свою zfs

Вот поэтому и докатились до того, что всё железо превратилось в вендорлокнутое ведро с дерьмом.

Как видишь, не совсем production-ready, раз такие проблемы возникают. Сходи по ссылке, там написано что ZFS некорректно отрабатывает ответ харда и портит данные. WD даже готовы помочь бедолагам.

Ну и да

Solaris, OpenSolaris, FreeBSD

0.01%

У него же под NTFS в винде все Ok

сравнение ошибочное. у винды есть своя copy-on-write FS. как там с ней дела обстоят и с этими дисками никто не знает. вообще, я считаю ситуация нормальная. диски - вещь сложная, производитель как-то пытается конкурировать. ты вот запросто можешь сидеть за шестибитным монитором, который тебе продали, как восьмибитный. бывает, короче.

ZFS некорректно отрабатывает ответ харда

А не судьба было не выёделываться, и сделать как у всех, чтобы этой проблемы не было?

WD даже готовы помочь бедолагам.

С одной стороны это хорошее начинание, но если они не смогли сделать предсказуемый диск, то возникает логичный вопрос: что они сделают с кодом ZFS?

Ну и да

Solaris, OpenSolaris, FreeBSD

0.01%

Пруфы? С учётом закрытых компаний, которые свою кухню не публикуют по очевидным причинам.

Я не утверждаю, что эта троица в сумме сможет хотя бы близко подобраться к позициям Linux (хотя бы по известным цифрам), но ты сильно принижаешь цифру, раз в пятнадцать примерно.

на FreeBSD делают этот продукт и вообще речь о FreeBSD ZFS, а в оракле такие деньги крутятся, что они разберутся без шума и пыли. а вот про диски, у которых головка перезаписывает несколько дорожек, я был не в курсе.

А не судьба было не выёделываться, и сделать как у всех, чтобы этой проблемы не было?

Согласен, могли бы и не писать говнокод, ни у одной другой ФС таких проблем нет.

ни у одной другой ФС таких проблем нет

А они протестировали действительно все файловые системы? ^_~

Ну то есть вообще непонятно, то ли ZFS кривая, то ли фряха, то ли порт зфс на фряху, то ли сами диски, но говном сразу начали поливать именно ВД.

Причём эта контора сама ставила в свои устройства ВДшки, не протестировав совместимость.

По крайней мере сообщений о проблемах с другими ФС нет. А они были бы, потому что ZFS маргинальна даже на фоне ext4.

Суть технологии SMR в применении в диске магнитной головки, ширина которой больше ширины дорожки, что приводит к записи с частичным перекрытием соседней дорожки, т.е. любая перезапись приводит к необходимости перезаписи всей группы дорожек.

DM-SMR подразумевает, что операции зонирования и распределения данных управляются контроллером диска и для системы такой диск выглядит как классический жёсткий диск, не требующий отдельных манипуляций.

Система может пытаться применить к таким дискам оптимизации, полагая, что данные будут записаны в указанный сектор, но фактически выдаваемые контроллером сведения определяют лишь логическую структуру и на деле при распределении данных контроллер применит свои алгоритмы, учитывающие ранее размещённые данные.

Ну вот и думай, кто виноват. Как по мне особо никто, но если искать виноваты, то контроллер WD лжот. Ситуация та же, что и с рейдом. Просто об этом предупреждают заранее и обнуляют гарантию целосности данных. Здесь никто не ожидал, что диск от WD будет сильно умным.

Если поискать виноватых, то это FreeNAS продала своим клиентам нерабочее непротестированное говно.

Здесь никто не ожидал, что диск от WD будет сильно умным.

Здесь может и никто. А вот в конторе, производящей NAS, должны были ожидать.

А что, под домашним NAS подразумевается сервер на солярке?

Какая разница, что именно? Диск от этого не должен терять данные.

там написано что ZFS некорректно отрабатывает ответ харда и портит данные.

Я так понял, что хард работает неожиданным образом (выдавая статус ошибки, который раньше был только при серьезных сбоях)

что заплатили, то и получили. системы от Oracle стоят в 10 раз дороже (это не преувеличение). а iXsystems даже разработку ZFS в однова вести не может. хрен ли ты хочешь. типичная модель коммерции на базе опенсорса. «от каждого по способностям, каждому — по труду». социализм.

Окей, и почему тогда такой проблемы нет (или не выявлено) на других ФС?

Как я понял, контролер у SMR диска шибко умный и подстраивается под типичные паттерны поведения, а тут нарвался на не типичный.

это типичная несовместимость алгоритмов оптимизации. диск может терять данные. это не система хранения. когда ты sync используешь в ОС - это самый простой интерфейс. в сабжевой новости интерфейс оказался не согласован.

Ну и о чём тогда разговор. Несовместимось софта и железа это нормально на этапе разработки. Для того тестирование и придумано.

Не, косяки бывают у всех, даже у крупных контор типа Apple. Они там платы меняли на A1286 лет 5 или 6 по гарантии, то там видео дохло, то межслойные переходы под ним рвались. Но не на amd с невидией бочку катили.

ну я собсно разговор и не начинал, никого не обвинял. просто зашел в тему.)

Давай тогда тупые контроллеры делать как в 90-е, с соответствующей скоростью записи, раз богоподобные разработчики маргинальной фс не смогли с новым совладать.

потому что ZFS маргинальна даже на фоне ext4

даже на фоне ext4

даже

Вбрасываешь?

Ext* — это файловая система общего назначения.

ZFS используется в некоторых крупных исследовательских центрах (названий уже не помню, но это легко гуглится), и крутится на не полутора десктопах.

Proxmox использует ZFS (ZoL), оно есть даже в Ubuntu(!), почти без плясок ставилось (лично мной) в Gentoo.

p.s.

у меня же пол-лора и анонимы в игноре.) я только ТС и твое сообщение увидел. спуфигна еще. о чем тут треп - еще хз.:) даже хорошие люди на лоре скрываются, если отвечают тем, кто в игноре. карма наследования игнора:)

Вбрасываешь?

Почему? По сравнению с NTFS - определённо маргинальна.

ZFS используется в некоторых крупных исследовательских центрах (названий уже не помню, но это легко гуглится), и крутится на не полутора десктопах.

Очень рад за них. На самых дешманских вдшках используется?

По сравнению с NTFS - определённо маргинальна.

Давай конкретизируем — мы сейчас о десктопах (в этом случае мне монопенисуально, так как эта тема меня интересует чуть меньше чем никак), или о NAS (где ZFS имеет ряд преимуществ над остальными)?

Если о десктопах, то и Ext4 так-то маргинальна на фоне NTFS. ☺

На самых дешманских вдшках используется?

Ага, так они и рассказали про оборудование. Софт-то не весь раскрыли.

Ну причем тут контроллеры? Я для своих целей между прочим, иногда харды вообще без ФС использую, напрямую туда записывая данные в /dev/sdXX как в просто файл. Давняя привычка, если что.

Как я понял, с SMR дисками так лучше не делать, ну и нафиг они тогда нужны такие привередливые.

А вот в конторе, производящей NAS, должны были ожидать.

Как можно было ожидать такое?

А в целом если ты хочешь чтобы контора производящая NAS проводила экспертизу накопителей перед их использованием то не означает ли это, что поставщик накопителей должен плставлять конструкторскую документацию и исходник прошивки для накопителя?

Значит пускай требуют их у своего партнёра, ВД. Не, ну если это подвал, где собирают 1 системник в день, то им, конечно, не дадут.

https://habr.com/ru/post/497900/

А может это WD подвал не дающий пользователям необходимые для эксплуатации диска сведения?

Ой, а ведь Intel, получается, не виноват, что на их процессорах всякие эксплойты запускают и мелтдауны получаются?

Мда, отстал от жизни, сколько г-на поперло-то. Может где есть ресурс, отслеживающий какие модели с какими технологиями?

что при некоторых сценариях записи/чтения, которых не наблюдали оптимизаторы, теряются данные

Если ZFS обнаруживает, что диск в пуле неисправен, то она немедленно останавливает запись на этот диск, чтобы не разрушать дальнейшими своими действиями данные в пуле. Консистентность данных при этом может быть нарушена, что исправляется scrub’ом (по результату работы показываются отсутствующие файлы). У других ФС таких возможностей нет — они будут тупить при попытке запись в якобы сбойный диск.

У других ФС таких возможностей нет — они будут тупить при попытке запись в якобы сбойный диск.

Ну не приходило в голову авторам ФС, что сообщение о серьезной ошибке диска надо игнорировать, просто немного подождать и продолжать работу. LOL. Как ЭТО можно использовать для чего-то серьезного?

Вот поэтому я свои EFRX и не меняю. Старые, но проверенные временем диски в ряде случаев лучше новых. А когда подвезут гелий на 20+, там уже этой порнографии не будет.

пусть переделывают свою zfs

первый коммит с тебя

богоподобные разработчики маргинальной фс

Ну и жир потек… А богоподобные разработчики контроллеров дисков вообще в курсе расстановки сил в сфере СХД?

ZFS некорректно отрабатывает ответ харда и портит данные

Я сходил и прочитал: тупой контроллер не может разобраться почему действие выполняется слишком долго, и предполагая, что диск умирает, выкидывает соответствующую ошибку, по которой умный ZFS выкидывает диск из пула, дабы не запороть в нем данные (а еще это нужно для быстрого ребилда массива, в которой остались поврежденные диски). Таким образом гений Sun смог наложился на баги ДНК рукожопов из WD. Ну так кому руки выпрямлять то?

Щас-бы еще мнению Линуса доверять ;)

Щас-бы еще мнению Линуса доверять ;)

А какая разница кто крайний? Прецедент был — ZFS (ZoL) был отломан в 5.0-RC, когда в рассылке об этом написали, Грег достаточно агрессивно ответил, погрозив судом ZoL и послав пользователей ZFS на FreeBSD (но это равносильно посылу в пешее эротическое, так как это в первую очередь отношение к пользователям, а не к проекту, как ему хотелось бы). Затем был случай с VMware, которые столкнулись с теми же искусственными ограничениями, что и ZoL ещё до релиза 5.0.

Какая теперь разница кто из них виноват? Для меня Linux больше не является надёжной платформой "для всего", и если есть возможность не использовать Linux, я его не использую.

А теперь та же участь ждёт и WD. И тоже из-за единственного (зато эпического) фейла.

домашним NAS подразумевается сервер на солярке?

А почему бы и да?

При возникновении проблемы диск начинает возвращать код ошибки IDNF (Sector ID Not Found) и становится непригоден к использованию

А виновата ФС, конечно.

Я с тобой скорее согласен, чем нет. Просто у Грега и Линуса слепая ненависть к zfs. Грег например своими руками любит ломать совместимость, отмечая некоторые вещи в ядре как GPL-only и привет (правда сами потом и фиксят). Про финского расового шведа даже думать не хочется. Достаточно вспомнить его выхлоп о zfs и каких-то мифических бенчмарках, которые видел только он. Нет, я не спорю, для опенсорс-хомячков может это и сойдет за авторитетное мнение, но по сути за версту несет некомпетентностью.

P.S. Linux уже давно не система для всего, у кого есть мозг, тот давно понял и принял эту истину :).

Грег например своими руками любит ломать совместимость, отмечая некоторые вещи в ядре как GPL-only и привет

Именно это и случилось в обозначенном мной случае про ZFS и Linux 5.0-RC.

P.S. Linux уже давно не система для всего, у кого есть мозг, тот давно понял и принял эту истину :).

Не совсем в том смысле для всего.

А про мозг, я так думаю, ты намекаешь на этого регистранта? ☺

Погуглил я про проблемы с smr - и получается что проблемы возникают далеко не только с zfs. А во всех ситуациях где есть большое количество операций записи за короткое время. Особенно, записи нелинейной. Т.к smr диски требуют проведения операций уплотнения и сборки мусора почти как современные ssd. Иначе у них катастрофически падает скорость (Все потому, что запись в smr зоны, не просто должна быть линейной и непрерывной, но и ещё, похоже что она значительно медленнее чем обычно)

А диски wd, как оказалось, начинают выдавать в таких ситуациях ошибки пока не просрутся. И страдает далеко не только zfs, но и рейды. В том числе и аппаратные. Особенно, raid5.

Т.к smr диски требуют проведения операций уплотнения и сборки мусора почти как современные ssd. Иначе у них катастрофически падает скорость (Все потому, что запись в smr зоны, не просто должна быть линейной и непрерывной, но и ещё, похоже что она значительно медленнее чем обычно)

Причем как я понял, каких-то радикальных преимуществ smr не дает, так небольшое удешевление процентов на 30. И ради этого теперь нормальный объемный диск надо еще поискать.

каких-то радикальных преимуществ smr не дает

Он даёт преимущества производителю. А клиенты будут страдать, да. Очередной яркий пример современной копроэкономики. Такое уже неоднократно было и у других производителей - печально известная 11-я серия Seagate’ов, например. Были уже и картельные сговоры производителей dram памяти направленные на увеличение цены. И сговоры производителей flash памяти. Всё потому что их слишком мало для нормальной рыночной конкуренции.

так небольшое удешевление процентов на 30

Как раз таки, это - огромная выгода: капиталист, как известно за 30% удавится. Всё как классики завещали.

и ради этого теперь нормальный объемный диск надо еще поискать.

И это самое поганое во всей этой истории: опять маркетологи вешают там лапшу на уши. Заявляли-бы они честно о характеристиках своей продукции - всё было-бы куда проще. Мне уже давно и долго приходится работать со всё нарастающими объемами данных. Уже давно для этих целей перешел на raid’ы.

И первый раз я столкнулся с мухлежом со стороны производителей ещё лет 10 назад. Когда начали появляться диски для NAS (https://www.smallnetbuilder.com/nas/nas-features/31202-should-you-use-tler-drives-in-your-raid-nas).

Уж не знаю, может я был тупым и не замечал, но до этого разделения на NAS- и дескопные- HDD - обычные десктопные HDD в случае ошибок чтения не зависали на 30-60 секунд пытаясь прочесть сбойный сектор и не вываливались из raid’ов (который вполне справедливо считал что если диск на минуту ушел в астрал, то ему пришёл кирдык). Проблемы у меня начались именно с появления HDD больших объемов и разделения линейки дисков на домашние и остальные.

Ну ок. С горем пополам за 10 лет я кое как выработал стратегию выбора и покупки дисков для рейд-массивов и NAS. В итоге, кстати, я остановился на дисках для видео-наблюдения. Они хоть и медленные, и не самые дешевые, но зато хорошо работают в режиме 24\7 годами с любой нагрузкой, и честно сообщают об ошибках чтения и записи сразу, а не «уходят в себя» на неопределённый срок как это делают нынешние десктопные диски.

И теперь вот начинается новый этап этой специальной олимпиады под названием: угадай что именно имел ввиду маркетолух под словосочетанием «typical workload».