SMR: новая технология записи делает HDD непригодными для работы в RAID

ГОСПОДИ ОПЯТЬ. При чём тут RAID?!!!

В оригинале там была статья, в которой какие-то поцы написали, что ZFS якобы выкидывает SMR диски из массива под нагрузкой, потому что диски дают ошибку чтения, и на основании этого почему-то заключили, что это «несовместимость с ZFS». Но при чём тут «несовместимость»? - это тупо БАГ. Если диск даёт под нагрузкой ошибку, то он и без ZFS её так же даст.

А сейчас уже похоже пошла какая-то мифология. Ребилд им медленный, ещё чего-то… почему ребилд рейда медленный должен быть - я вообще не понимаю, с линейным чтением/записью на SMR всё нормально.

В общем SMR-то конечно дно, но писать статьи тоже нормально надо.

Кстати, хочу внешний диск на 4 терабайта. Они все 2.5", как с ними дела? Я так понимаю, SMR проблема не только райдов.

SSD must die!

Давай поиграем с тобой в игру:

«XXXX must die! Всё зло от этой уродской технологии, теперь и YYYY гробят, чтобы ослабить конкуренцию с XXXX»

Например:

Коробки-автомат must die! Всё зло от этой уродской технологии, теперь и механические коробки гробят, чтобы ослабить конкуренцию с автоматами!

или

Ноутбуки must die! Всё зло от этой уродской технологии, теперь и нормальные процы гробят, чтобы ослабить конкуренцию с ноутами.

Все что 2TB и больше - SMR. Можно взять карман на 3.5 и диск для него, если так сильно хочется без SMR.

засада.

Пишут, что:

Один из достоверных признаков SMR дисков — поддержка команды TRIM. Смотрим в паспорт. Способ не на 100% достоверен, так как сигейты вроде как не все подерживают TRIM, несмотря на SMR. Но на WD достоверен на 100%, такая у них архитектура. Если у HDD в паспорте включена поддержка TRIM — он точно SMR. Если не включена (и это не WD) — еще не гарантия, что он обычный, но шанс есть. Еще могу добавить, что большинство Seagate, выпущенных с 2014 года — SMR, в том числе которых нет в таблице. ST3000DM001 и их менее емкие 2- и 1-блиновые клоны.

Короче, надо брать WD без поддержки TRIM.

Насколько я понял, диски с технологией SMR по сравнению с обычными дисками обладают «перекосом»: меньшей скоростью записи данных при той же скорости чтения.
Причём, что существенно, время, требующееся на запись одного блока на одном и том же диске может различаться на порядки. Иногда запись выполнится за время T. Иногда придётся каскадно обновить N дорожек - за время N*T, ради записи одного блока.
ПО (не знаю точно, ZFS или какое-то другое) не рассчитано на такой разброс таймингов, а ожидает примерно одинаковое время при каждой операции записи. И долгий (с точки зрения ПО) тайминг расценивает как неисправность диска.

потому что они проигрывают HDD по надёжности и выходят из строя ВНЕЗАПНО

Вот уж не факт. Из 5 SSD дисков, которые у меня есть, один сдох через год использования. Остальные работают не менее 3-х лет. Доля сдохших хардов, не проработавших и 3-х лет, точно не меньше 1 из 5. Сигейт барракуды позднее 2010 года выпуска иной раз и через полгода сдыхали.

Всё говно. RAID1/RAID10 наше всё.

У меня джве тошибы P300 в 1ГБ. Насколько я понимаю, мне повезло? Как раз в RAID1 их собрал лол.

«Linux must die! Всё зло от этой уродской технологии, теперь и FreeBSD гробят, чтобы ослабить конкуренцию с Linux»

Всё так. То что не хотел бы потерять, запихал в RAID-1.

Слишком толсто. Надо было причитать про перфокарты.

Не, там в оригинале было именно не про тормоза, а про ошибку. Что-то типа «ID сектора не найден». Тормозить ему никто не запрещает, главное чтобы ошибку не давал.

На SMR медленная случайная запись (мелкими блоками, 4 КБ условно). Ну то есть она вообще на HDD медленная, но если она на обычных HDD 120 iops, то на SMR 30-50. По сравнению с SSD, на которых 100000 iops, честно говоря, разница между даже 30 и 120 iops как-то не смотрится. Всё равно ДНИЩЕ.

А с линейной записью там всё в порядке, она такая же быстрая как чтение. То есть под файлопомойку SMR годится.

Причём на самом деле т.к. производители понимают что 30 случайных иопс вообще ни в какие ворота не лезет, практически во всех SMR дисках есть маленький SSD- или медиа-кэш. Медиакэш это когда у диска есть специальное место на каждой пластине, куда данные при случайной записи пишутся временно и без перемещения головок. Такого кэша бывает гигов, скажем, 8.

Поэтому, по сути, когда ты берёшь SMR диск и тестишь - то сначала видишь даже бОльшую скорость случайной записи - до 2000 иопс, а может и даже больше. Но когда кэш забивается, скорость, естественно, падает обратно до 30 иопс.

Правда, такой кэш уже и в обычных «CMR» встречается - и про него, кстати, тоже ничего часто не пишут в даташитах. Например, во всех Seagate EXOS-ах больших (которые я трогал) он есть…

В общем ещё раз - SMR таки дно, да, но заголовок желтушный…

Вы бы в новости писали что это все проблемы на ZFS.

Информацию почитать и осознать вообще никак? Если mdadm/любой софтрайд увидит, что диск отвалился с ошибкой - он точно также выкинет диск из массива.

А из-за чего у них бывает ошибка типа «ID сектора не найден»?

А с линейной записью там всё в порядке, она такая же быстрая как чтение.

Нет. Она быстрая, пока CMR-кэш не кончится. Далее SMR-диску надо всё также для записи одной дороги стереть несколько соседних, а потом перезаписать большой блок за один присест, что роняет линейную запись почти в ноль.

Почитал под попкорн салатик из авокадо с тунцом. Забавно было. Спасибо.

По слухам (точный первоисточник я не видел) на каких-то дисках к такой ошибке приводило чтение ни разу не записанного сектора.

То ли под нагрузкой, то ли просто… Ну вот в моём понимании это баг.

wd есть куча всяких линеек по цветам, у других производителей, думаю, аналогично

там бывает так что одна и та же модель бывает с смр и без смр, в таких случаях отличают по весу - модели с смр имеют меньше блинов и весят меньше. Производитель естественно скрывает использование смр.

Это вообще поганая технология. Основное назначение таких дисков - накидал хлама и хранишь. Такое ощущение что это опять по заказу американских всемогущих и компетентных органов придумали очередной способ удешевления хранения. По нашей статистике, она правда не очень большая, чуть более двухсот дисков, дохнут в разы чаще и потери информации без полного выхода из строя тоже намного чаще. Для интенсивной работы непригодны. Но это - ИМХО. Отказались от них. Для дома, не знаю, не берусь судить.

А с линейной записью там всё в порядке, она такая же быстрая как чтение. То есть под файлопомойку SMR годится.

я слышал противоположную информацию. когда его кэши забиваются, то скорости записи падает почти до нуля. если же запись ограничить в инструменте (например в rsync при копировании) до 30mB/s, то оно работает нормально, но относительно медленно.

Ну и да, продают ущербные ХДД за цену обычных.

Ну вот не знаю - у меня есть SMR ноутбучный диск. На нём с линейной записью всё в порядке. Примерно те же ~100 мегабайт в секунду, что всегда на HDD были. 100 гигов он на этой скорости успешно прописывает, могу больше потестить. Ну и это логично - при линейной записи он успевает всё стирать в процессе. Стёр условно 32 мб - записал - стёр - записал и т.п.

А вот со случайной записью там всё точно как я описал - сначала 2000 иопс, потом когда запишешь 8 гб - то 30 иопс.

Ну я ещё раз говорю - у меня лично есть SMR диск. Нет там нуля никакого, линейно нормально пишет.

перезаписать

Эта перезапись предполагает, что надо сперва прочитать и потом записать то же самое, да еще для N перекрывающихся дорожек - усиление 1 к 2*N

Из текста новости ни фига не понятно, но на хабре я вычитал, что под нагрузкой некоторые из таких дисков просто вылетают из RAID. Вопрос, а без RAID система что с ними сделает под нагрузкой? Просто упадёт? Перемонтирует ФС только для чтения? Тогда почему не пригодны для RAID? Или всё-таки дождётся пока диск запишет свой кэш? А что мешает дождаться в RAID в таком случае?

Может быть, имеется в виду случай как раз когда не просто идёт линейная запись, а вперемешку со случайной. Тогда да, у него забивается кэш рандомной записью - но не CMR кэш! - потому что ни на каком CMR никогда не было 2000 иопс! - а «медиакэш» или ссдкэш. И тогда да, когда требуется ещё и случайная запись - начинаются тормоза. Но тут как бы а что вы хотели - если нужен случайный доступ, покупайте SSD…

шизик штоле? давным давно без ssd компы никто не собирает для себя. наоборот, без hdd можно перекантоваться, или использовать старый имеющийся

А что мешает дождаться в RAID в таком случае?

Семеро одного не ждут. Просто выкинет диск из массива. Хотя, вроде, там диск конкретно возвращает ошибку.

наркоман штоле? на ssd всё работает кардинально быстрее даже на глаз без бенчей

Хотя конечно не отражать это в даташитах - кретинизм, да. И с медиакэшем тоже. Он для Ceph-а например очень полезен, а понять, есть ли он, можно только попробовав…

Эта перезапись предполагает, что надо сперва прочитать и потом записать то же самое, да еще для N перекрывающихся дорожек - усиление 1 к 2*N

Да. Там для этого применяется, ЕМНИП, большее количество одновременно работающих головок, чем в CMR-диске, чтобы хоть как-то линейку хоть вытянуть.

Ironwolf вроде бы без SMR. И даже 2,5-дюймовые, чтобы во внешний карман влезло.

большее количество одновременно работающих головок

Не знаю, как это может помочь. Тут может помочь только хитроумная логика да еще с немаленьким буфером, аналог ssd-контроллеров. И тут возникает вопрос: как там с сохранностью данных, с соблюдением очереди операций и с внезапным отключением питания?

как там с сохранностью данных, с соблюдением очереди операций и с внезапным отключением питания?

И вообще, как это может сочетаться с RAID?

И вообще, как это может сочетаться с RAID?

Отличный вопрос. Ответ на него мы и видим в заголовке новости :)))

А в каких именно дисках, вам не скажут.

Производитель как та кошка знает чье мясо съела. Было бы что хоть чуток полезное не забыли бы про фичу.

Коробки-автомат must die!

а разве нет?

Ноутбуки must die!

тоже мне новость, конечно must die

а разве нет?

электродвигателю не требуется переключаемая коробка, и он унижает обычные двигатели во всех показателях на которые фапают любители ручных коробок

Что вы имеете возразить по сути? Какой смысл в SSD, если туда не класть своп?

А давайте возражать по сути будете вы. Почему смысл в SSD есть только в складывании на него свопа?

своп

ты же ещё и болезный с 2-4гиг озу небось

Отличный вопрос. Ответ на него мы и видим в заголовке новости

Производители же выпускают диски с такой технологией для систем хранения данных. Уже не менее 5 лет. Значит должен быть ответ на этот вопрос.

электродвигатель

Электричество в нее квантово телепортируется из астрала?

спрашивай это у любителя коробок

электродвигателю не требуется переключаемая коробка

То-то раздумают, как бы привернуть двухступенчатую КПП к электродвигателю, т.к. на скорости выше 150 электродвигатель работает на сильно неоптимальных крайне высоких оборотах :)

мех коробка - дешево и надежно может передать очень высокую мощность.

электродвигателю не требуется переключаемая коробка,

так тем более коробка-автомат маст дай, логику-то подключи, да?

для электродвигателя оптимален широкий диапазон оборотов по сравниванию с двс

выше 150

откуда взял это значение, если оно зависит от передаточного числа и конкретного двигателя?

мех коробка - дешево и надежно может передать

как сказать, примитивный редуктор из двух шестрерён явно лучше по всем показателям

Да, насчёт бага Вы правы.
Вот, посмотрел первоисточник: https://blocksandfiles.com/2020/04/15/shingled-drives-have-non-shingled-zones-for-caching-writes/
Частичный перевод от меня:
Алан Браун:

… SMR-диски имеют несколько уровней кэширования - DRAM, CMR-область (обычные дорожки, без черепичного перекрытия) и SMR-область. Первоначально запись выполняется в CMR-область, а когда диск простаивает - данные перебрасываются в SMR-область…

Blocks & Files:

Что произойдет, если CMR-область заполнится?

Алан Браун:

Когда CMR-область заполнится, диск может начать (а может и не начать (?)) запись в SMR-область - и при этом скорость записи будет очень низкой. /If the drive stops to flush out the CMR zone/, ОС увидит длительную паузу (ZFS сообщает о десятках задержек, превышающих 60 секунд - это предел, который он измеряет; я измерил одну паузу длительностью 3 минуты). Одно это может /to upset/ множество контроллеров RAID

…

Blocks & Files:

/Does resilvering (RAID array data rebalancing onto new drive in group) involve random IO/?

Алан Браун:

/In the case of ZFS, resilvering isn’t a block level “end to end” scan/refill, but jumps all over the drive as every file’s parity is rebuilt./ Похоже, это вызывает еще одну проблему на WD40EFAX, где запрос на проверку сектора, в который еще не был записан, приводит к тому, что накопитель внутренне регистрирует ошибку «ID сектора не найден (IDNF)» и выдает ошибку ввода-вывода. RAID-контроллеры (аппаратные или программные, RAID5/6 или ZFS) после нескольких подобных ошибок вполне разумно решат, что диск неисправен и выключат его из массива, если ещё ранее не сделают этого из-за длительных пауз. Похоже на то, что объём CMR-области составляет от нескольких десятков до 100 ГБ на SMR-дисках. Так что, пока люди не пишут на диск продолжительное время с большой скоростью, они не увидят проблему, а впервые столкнутся этим при /resilvering/

…

Blocks & Files:

эта проблема [ошибка IDNF] касается всех SMR-дисков?

Алан Браун:

Поскольку у меня нет SMR-дисков Seagate, я не могу проверить, является ли это багом прошивки WD, или же общей проблемой SMR-дисков…

Интересно и пожалуй важно.

Один вопрос: мне казалось SMR диски не были экзотикой и 2 года назад, когда я покупал свой двухтерабайтник, проблем не возникало и фактически узнать что у него внутри можно было скорее по тестам чем по этикетке.