Падение скорости чтения с ssd для файлов, записанных N месяцев назад

Я имел в виду регулярный трим. Т.е. до записи.

Брать себе QLC можно только если себя сильно не любишь.

3 года, брат жив.

сколько там записано. И скоростью записи похвались - когда заканчивается SLC кэш. QLC же реально превращается в тыкву когда начинает писать в QLC режиме.

Записано почти впритык. Да на скорость записи плевать - раньше там HDD стоял.

Правда очень высокая вероятность что именно QLC чипы будут активно распаивать по материнкам ноутов – замена ссд конечно дело прибыльное но иметь откровенный расходник превращающий в тыкву весь девайс целиком – гораздо привлекательнее.

SSD – не процессор, не видеоадаптер, не мультиконтроллер и не память. SSD предсказуемо изнашивается и гораздо чаще внезапно ломается. Гарантийный ремонт ноутбука практически всегда модульный. Соответственно, гарантийная замена распаянного SSD превращается в замену матплаты со всеми мозгами (кроме оперативки, если она съемная). Это сильно удорожает ремонт.

А еще пользователь голосует ногами. Несменяемую батарею в телефонах он проглотил, потому что это красиво и в каком-то смысле более надежно: защелки на крышке обычно рассыпаются раньше, чем помирает батарея. Распаянный процессор – ну, редко потребитель меняет процессор, особенно в ноутбуке. Сейчас даже десктопы принято собирать заново раз в 2–5 лет, в зависимости от достатка. Возможность докинуть память кому-то принципиальна, а кому-то и нет, поэтому до сих пор есть варианты. С накопителями по-другому. Либо он внезапно помирает, либо пользователь его забивает до краев и задумывается об апгрейде. Если устроить ему подставу, он вместо Dell купит HP. Или HP вместо Dell. Или…

К слову, был период, когда эффективные оптимизаторы расхода спичек стали пропихивать роутеры без кнопки питания. Насколько я понимаю, почти все были против такого новшества и при прочих равных выбирали роутер с кнопкой. В общем, не зашло.

С накопителями по-другому

Тим Кук уже провел эксперимент над сектантами святого огрызка. Сожрали и попросили еще. А что сделано в святом огрызке - переносится и во все остальное. У Dell уже есть ноуты с распаяным ссд. Пока не зашло. Но очень заманчивл - имеено вот поэтому:

SSD предсказуемо изнашивается

Предсказуемо и изнашивается. Про гарантийный не надо - предсказуемо же. Значит гарантийные ремонты - это смешной процент внезапно сломавшихся.

Это реально мало. Зато предсказуемый постгарантийный ремонт станет либо дорогим - ты уже не купишь новый ссдшник, а должен будешь отбашлять производителю за новую материнку или просто купить новый ноут. Для подстраховки от любителей видеомонтажа способного загнать ССД гораздо быстрее срока гарантии тупо впищут что гарантия на ссд скажем два года при записи не более N терабайт. И вот он профит.

К тому же это дешевле производить - робот все распаял, ему всеравно парой чипов больше парой меньше - зато на сборке меньше операций. Еще профит.

И еще нет апгрейда - не рассчитал с нужным объемом - купи новый ноут. И еще профит.

Тим Кук конечно тот еще гондурас, но деньги он считать умеет отлично. Не мак-ноуты от внедрения распаяного ссд спасает только наличие конкуренции. И закондодательства которое в случае если производители сговорятся в один прекрасный день начать производство только впаяных дисков выльется в штрафы и суды которые сожрут прибыль. Ну и опять же есть опасение что появятся очередные выскочки типа FrameWork которые выведут на рынок желанный продукт в котором меняется и апгрейдится все - и тут никакой картельный сговор не поможет.

Когда записываешь на SSD - нет никакой гарантии что это будет та же физическая страница. Это может быть свободная область на чипе совсем в другом месте - в которую контроллер ССД решит записать данные а потом через свой внутренний маппинг просто перенаправит обращения ОС к этой «странице» на новое место. А может быть и поверх запишет - но вероятность невелика.

А это не важно – главное, что данные будут валидные, а таблица трансляции LBA -> PBA обновится.

соответсвенно хранить больше избыточной информации для коррекции.

Не вариант. При хранении избыточной информации на том же устройстве в тех же условиях надежность хранения с увеличением избыточности растет только до какого-то определенного порога

то же и с самсунгами - выпустили волшебный апдейт, и ссд перестали терять данные. по вашей логике - случилось чудо, и апдейтом пофиксили утечку заряда во флэше? или все же починили BGMS?

Во-первых, недавняя проблема с самсунгами была не в потере данных, а в стремительно ухудшающихся показателях оставшихся резервов флеша. Косвенно они даже подтвердили, что цифры уменьшались не просто так, а действительно отражали какие-то реальные проблемы. Возможно, сбойные страницы какими-то пережигаемыми перемычками помечаются, и даже если не они не сбойные, и их уже не вернуть. Деталей, как обычно, в публичном доступе нет.

А во-вторых, что изменилось в обновлении прошивки, так это не «BGMS», а работа TRIM. Если в предыдущих версиях команды TRIM отрабатывали очень быстро, после чего в выводе аналога smart можно было видеть, как на протяжении минут уменьшается показатель «Namespace 1 Utilization», то в новых версиях TRIM стал синхронным. Сейчас если я запускаю fstrim или его аналог с прогресс-баром, реально вижу, как медленно это стало происходить. Прогон по всем разделам минут 20 может занять, если не больше. Раньше это происходило за секунды, с изменениями в метриках на протяжении пары-тройки минут. Похоже, был какой-то очередной косяк в фоновом TRIM.

Что касается фонового сканирования, я уже упоминал причины, по которым я считаю, что его нет. Во-первых, если бы он был, я бы не наткнулся на плохо читаемые страницы на двух разных моделях накопителей. А я не только наткнулся, но и прямо видел, как повторные чтения одной и той же страницы дают то успешное чтение, то ошибку. То есть даже если контроллер несколько раз носом ткнуть в плохую страницу, он не делает ремап. Времени у него было предостаточно, десятки минут между периодами хоть какой-то нагрузки. Он просто не хочет заниматься ремапом. Во-вторых, фоновое чтение это всё ещё чтение, оно разогревает флеш, что должно быть видно в показателях температуры. У меня показатели регулярно собирает collectd, и в графиках не видно моментов, когда температура флеша поднимается просто так, без одновременной кучи команд на чтение и запись.

Что касается фонового сканирования…

Не все же систему каждые пару месяцев перестанавливают с форматированием диска. А многие на предустановленной 10 и сидят. Значит, у типичного юзера на диске полно файлов, которые никогда не меняются.

Поэтому, либо фоновое сканирование всё же есть, либо данные на ссд не теряются много лет.

либо фоновое сканирование всё же есть

Если есть волшебство, которое позволяет читать данные с NAND так, чтобы он не нагревался, почему это волшебство не используют при штатном чтении?

у типичного юзера на диске полно файлов, которые никогда не меняются

Как типичный юзер узнаёт, что он потерял данные, если он их никогда не проверяет?

Если есть волшебство, которое позволяет читать данные с NAND так, чтобы он не нагревался

Есть, читать изредка и малыми порциями. Фоновое сканирование - это же не на полной скорости по кругу данные читать

Как типичный юзер узнаёт, что он потерял данные, если он их никогда не проверяет?

Залил фотки с телефона на ноут. Через два года проверил - все фотки побиты, хотя ноут нормально работает. И это не один юзер-неудачник, а все, у которых файлы полежали без движения. Весь интернет был бы забит воплями таких юзеров.

Была такая-же проблема с ssd от wd. Решил проблему просто - скопировал и перезаписал диск командой dd.

Есть, читать изредка и малыми порциями.

Давай больше деталей. Насколько редко? Какого размера порции? Подробности, подробности!

Через два года проверил - все фотки побиты

Как быстро всё скатилось в демагогию. Я привёл пример, в котором было несколько сбойных страниц, а ты практически сразу раздул до чуть ли не десятков тысяч битых страниц, ведь только так можно добиться того, чтобы все или хотя бы большинство фоток было побито. А раз такого нет, значит нет десятков тысяч сбойных страниц, значит нет и одной. Разоблачение!

Ты лучше объясни, как у меня образовалась битая страница, если накопитель делает фоновое сканирование.

Давай больше деталей. Насколько редко? Какого размера порции? Подробности, подробности!

Я прошивки к ssd не писал, не знаю. Допустим, в простое 1 секунду читает, 299 секунд спит. Потребление фонового сканирования 1/300 от максимума.

Ты лучше объясни, как у меня образовалась битая страница, если накопитель делает фоновое сканирование.

Да от чего угодно. Если заряды стекли, то по всей флешке, а не на одной странице.

Я прошивки к ssd не писал, не знаю.

Но при этом есть уверенность, что накопитель производит фоновое сканирование. Я правильно понимаю?

Да от чего угодно.

Отличное заявление. Сводит на нет всё обсуждение.

[quote]Этот скрипт сломается на чтении сбойного файла.[/quote]

1. это позволило бы периодически чекать crc критически важных файлов
2. если сломается при сверке crc - это полезно т.к будешь знать, что есть проблема
3. а так-то может быть упаковывать в архивы с избыточностью

А ты всё не унимаешься с этим background media scan. Прямо такая уверенность, что он есть, хотя регулярно появляются свидетельства его отсутствия.

нормальный производитель обычно пишет об этом в тех характеристиках.

у GoodRAM IRDM Pro например это называется SmartRefresh, и оно действительно работает :

https://imgur.com/a/SttwkQu ( этому SSD более 3х лет, данные read-only (музыка, игры, аудиокниги), как видмите график ровный, скорости не проваливаются.

там же, для наглядности другой SSD A-DATA SU800: пила на графике, скорости неоднородные, хотя этому SSD тоже 3-4 года, используется для игр.

У меня такое ощущение, что ты поменял цели в процессе. Для новых целей действительно лучше взять ФС с контрольными суммами данных, как советовал greenman.

график ровный, скорости не проваливаются.

У меня тоже нормальные скорости были, вплоть до сбойной страницы. На ней затык, а после неё снова нормальные скорости.

для наглядности другой SSD A-DATA SU800: пила на графике, скорости неоднородные

Silicon Motion тоже хвастается в своих «белых статьях» аналогичной технологией.

Samsung не хвастается, но они и не продают контроллеры отдельно от своих SSD. Так что их внутренности это загадка.

Так цели же обычно такие:

1. знать, что файлы целые. Решается формированием crc на файлы
2. иметь возможность знать, целые они или нет. Решается чеком crc файлов
3. воспрепятствовать порче файлов. Решается архивами с избыточностью

Если в zfs есть суммы, то она всего-лишь решает пункт 1 и 2. А 2 и 3 - нет. Но сама zfs - это не стабильная ext4, с которой проблем нет. Судя по топикам, что она или тормОзит или еще какие-то приключения с ней - особого желания менять на ext4 на нее - не вижу смысла. Тем более, она не в ядре - поэтому кое-какие могут быть челенджи с этим всем

Если хочешь все три пункта сразу, напиши скрипт, который бы прошёлся бы по диску и положил бы в каждый каталог par2 суммы. Размер получающихся par2 сумм примерно ~5% от размера файлов. Я проверял, если есть несколько сот файлов по несколько мегабайт (в одном каталоге), один из них можно удалить, par2repair успешно восстановит.

Так а я ж про что? Я же про это и говорю. С такой надежностью твердотельных накопителей единственным вариантом является создание функций arch-cp/arch-mv/arch-upd, которые будут создавать или архивы типа rar с избыточностью или создавать par2 файлы. Не одна фс не в состоянии делать подобное. Вообще, было бы круто, если бы появился какой-то par2fs, который можно было бы подключать как партришен и туда закидывать файлы, которые бы с избыточностью писались :)

Нарежь диск на разделы и сделай из них RAID 5. Чем меньше избыточности хочешь, тем больше нужно разделов.

А вот новая bcachefs плагины не предусматривает?

(В Reiser4 вроде говорилось про плагины, но это уже не важно)

С такой надежностью твердотельных накопителей

Кстати, заметного числа криков «у меня пропали фоточки!!!» не видно. Или никто уже не хранит их на ПК/ноуте?

Но при этом есть уверенность, что накопитель производит фоновое сканирование. Я правильно понимаю?

Если стекание зарядов есть, а фонового сканирования нет, то все редкоиспользуемые файлы превратятся в тыкву. Этого не наблюдается. Как ещё ты это можешь объяснить?

Отличное заявление. Сводит на нет всё обсуждение.

Нечего тут обсуждать, если все предположения строятся на основании одной битой странице на одном накопителе.

Если стекание зарядов есть, а фонового сканирования нет, то все редкоиспользуемые файлы превратятся в тыкву. Этого не наблюдается. Как ещё ты это можешь объяснить?

Читать, сканировать - не надо. Достаточно просто подать питание. Пока чипы не изношены записью-чтением, даже срок хранения в обесточенном состоянии может достигать многих лет (некоторые чипопроизводители сообщают о 100 годах, но при активной эксплуатации этот срок быстро снижается) Поэтому всякие «6 месяцев хранения», «1 год» - условная средняя температура по больнице, включая поступивших умерших и выписывающихся. Стандарты JEDEC нормируют год хранения без питания, реально должно быть больше.

Соответственно, при таких сроках хранения информации даже без питания, во включенном состоянии информация может даже пережить вас )

нет. заявленный производителем ресурс - это кол-во циклов, после которого флэш с учетом коррекции ошибок будет читаемой спустя некий промежуток времени. затирание до дыр в тестах ничего общего с ресурсом не имеет.

ну и да, помимо всего прочего еще было сокращение того самого гарантированного времени хранения. для SLC оно было 10 лет ЕМНИП. для TLC - сильно меньше…

Если есть волшебство, которое позволяет читать данные с NAND так, чтобы он не нагревался, почему это волшебство не используют при штатном чтении?

ВНЕЗАПНО - да, называется «редкое чтение блоков».

вы заметите, что ваш ссд за сутки использования 1 раз прочитал весь обьем? а если он весь обьем прочитал не за сутки, а за неделю?

или вы считаете, что чтение идет непрерывно на максимальной скорости?

Пока чипы не изношены записью-чтением, даже срок хранения в обесточенном состоянии может достигать многих лет

практика говорит об обратном. кингсшлак А400 - полгода на полке, и скорость чтения 800 КБ/сек, оффтопик грузится где-то как с 4200rpm hdd 2005-го года выпуска. поработал несколько часов - и, о чудо, скорости вернулись к нормальным показателям.

ну а microsd - те где-то за 4 года теряли данные. даже старые, на толстой памяти (2010-11 годы, скорее всего еще MLC)

кингсшлак А400 - полгода на полке

А ты рисковый.

Похоже, практика очень сильно отличается у разных людей ) Наверное поэтому нормируют среднебольничный 1 год - у кого-то за три месяца сотрется, у кого-то, судя по отзывам - годами может лежать. Да и я уже рассказывал - закатал на новый intenso мультисистему, после чего он года два валялся. Включаю - все работает, не тормозит.

ну для чего-то ответственного я бы кингсшлак не ставил. более того - и не покупал бы, пушо оверпрайс за маркетинг.

в рабочий ноут pm883 поставил. ну а в хлам - можно и кингсшлак, доставшийся в подарок…

вы заметите, что ваш ссд за сутки использования 1 раз прочитал весь обьем? а если он весь обьем прочитал не за сутки, а за неделю?

Тут вот какое дело. Если с 970 EVO прочитать один гигабайт так быстро, как это только возможно, у него подскакивает температура. А если с него читать гигабайт медленно, его температура повышается ещё больше, потому он не может в сон уйти, пока его в покое не оставят. Так что да, думаю, замечу.

считаете, что чтение идет непрерывно на максимальной скорости?

Ну может и наскоками, но думаю, что каждый наскок эффективнее делать на максимальных скоростях, чтобы контроллер мог как можно быстрее уйти в сон, вместе с флешем.

Возвращаясь к изначальному тезису. Вы тут в несколько голосов мне расписываете, как всё это происходит. Но пока что никто не смог объяснить, почему даже имея корректно считанные данные контроллер конкретного накопителя не соизволил сремапить страницу куда-нибудь ещё. Все ответы пропитаны уверенностью, но только до тех пор, пока я не спрашиваю о подробностях. Как только речь доходит до них, оказывается, что детали работы накопителей внезапно стали для вас неизвестными.

Если стекание зарядов есть, а фонового сканирования нет, то все редкоиспользуемые файлы превратятся в тыкву. Этого не наблюдается. Как ещё ты это можешь объяснить?

Ячейки отличаются друг от друга. В одних заряд утекает быстрее, в других медленнее. Возможно, просто недостаточно утёк.

К примеру, в DDR5 появилась такая псевдо-фича как «on-die ECC». Она нужна для того, чтобы повысить процент выхода годных чипов. Если раньше в чипе была одна ячейка, из которой заряд утекал слишком быстро, этот чип приходилось выбрасывать. С on-die ECC такой чип просто постоянно будет восстанавливать данные из сбойной ячейки.

Нечего тут обсуждать, если все предположения строятся на основании одной битой странице на одном накопителе.

Это был контрпример. Одного контрпримера достаточно, чтобы опровергнуть гипотезу. И при этом никакого количества положительных примеров недостаточно, чтобы подтвердить гипотезу.

Upd. Кстати, хороший способ проверить утекание зарядов — взять два одинаковых накопителя, записать на них одно и то же, один держать отключенным от всего, второй держать запитанным, но не использовать. Через три года сравнить содержимое. Очевидно, что без питания накопитель не может никак проверять своё содержимое. Если через три года данные останутся целыми, значит заряд за три года не утекает в достаточной мере, чтобы вызвать проблемы с чтением.

Чё только не придумают, лишь бы нормальный охлад не ставить. Ну говноделам производителям тоже медаль конечно.

Наглядно и доходчиво о работе энергонезависимой памяти внутри твердотельных накопителей данных (видеоролики по десять минут каждый): раз, два, три, четыре, пять.

Я nvme для системного диска использую(500Гб). Планирую еще одну такую же взять под docker. Всё остальное на hdd храню. Поэтому, мне пофиг. Система из бекапа в случае чего раскатывается за 5 минут

По твоему случаю, я не думаю, что потеря информации была. Почему я так думаю? Потому что не было контроля записи файла. У тебя нет достоверной информации о том, что файл был записан уже в битом виде

Скорей всего ты своими кейсами фачишь ресурс накопителя. Например, регулярно выполненяемое nixos-rebuild. Он в течение пары лет фачится настолько, что начинает сыпаться. Даже юзер на оффтопике с игрулями и свопом не может так ресурс исчерпать, как ты. И даже девопс постоянно пересобирающий контейнеры по 40 часов в неделю

Скорей всего ты своими кейсами фачишь ресурс накопителя. Например, регулярно выполненяемое nixos-rebuild.

Это ты на основании нижеприведённого топика сделал вывод?

Nix is the new Arch

Или этого сообщения?

Нет, ванговал

Ты же пользователь NixOS, я угадал?

Файл может просто дописываться в конец, тогда он как-бы новый, хотя начальные блоки записаны давно. Например /var/log/wtmp. Тут проще писать тулзу, которая будет точно измерять время чтения мелких блоков по всему объёму SSD и смотреть на явных отклонения скорости от средней. При этом ещё нужно мониторить температуру, а то вместо снижения скорости от возраста будет снижение от тротлинга.

А вобще странно, все жалуются на проблемы чтения файлов, а обычно самые давно не перезаписываемые блоки — это таблица разделов, загрузчик. Порча этих блоков заметнее, чем потеря какой-то фоточки в глубине папочек.

Или для заметной деградации скрости чтения ячейки она должна быть несколько раз перезаписана?

вариант ускоренного стекания (чтоб не ждать 3 года) нагреть их обоих до 90 градусов иль сколь там максимум держит современная электроника.
чипы сдохнуть (теоритически) не должны, а вот скорость деградирования заряда проямо зависит от температуры (абсолютной конечно же но пойдет), что убыстрит тестирование…

потому он не может в сон уйти, пока его в покое не оставят.

Вроде, исходно обсуждалось чтение из прошивки, что её мешает уводить накопитель в сон сразу после чтения?

А почему у того или иного накопителя не работает фоновое сканирование и перезапись блоков никто никогда не узнает. Может бага в прошивке, а может блок ещё недостаточно плохо читается, чтобы прошивка решила, что он проблемный. Ошибки при чтении NAND — норма, сложно определить, с какого числа нужно переписывать блок, чтобы прошивка просто не начала всё подряд по кругу переписывать...

Если через три года данные останутся целыми

Через год выйдет обновление прошивки и весь эксперимент псу под хвост :)

чтобы опровергнуть гипотезу

Её бы сначала сформулировать.

Но пока что никто не смог объяснить, почему даже имея корректно считанные данные контроллер конкретного накопителя не соизволил сремапить страницу куда-нибудь ещё.

баг конкретной фирмвари конкретного накопителя.

повторюсь, кингсшлак а300: полежал полгода на полке - оффтопик еле грузится, графики показывают целых 800 КБ/сек чтения при 100% утилизации диска. через несколько часов и пару перезагрузок - никаких проблем. там, где нет отключений на полгода - никакой деградации чтения на них нет.

расскажите же, как такая магия могла случиться если нет фоновой перезаписи…

Кстати, хороший способ проверить утекание зарядов — взять два одинаковых накопителя, записать на них одно и то же, один держать отключенным от всего, второй держать запитанным, но не использовать. Через три года сравнить содержимое. Очевидно, что без питания накопитель не может никак проверять своё содержимое. Если через три года данные останутся целыми, значит заряд за три года не утекает в достаточной мере, чтобы вызвать проблемы с чтением.

возьмите обычные microsd карты, где никакого bgms нет (как минимум у всяких кингстонов и т.п., насчет самсунга на 100% не уверен)… 3-4 года - и начинаются проблемы с чтением файлов.

обновление прошивки

Ну, не ставить обновление прошивки. Результат для старой версии всё ещё какой-то можно получить.

Её бы сначала сформулировать.

Например, вот так: «накопители делают фоновое сканирование флеша на предмет потенциальных ошибок и производят превентивные исправления, прозрачно для пользователя.»

полежал полгода на полке

Пол года нулевая скорость тебя устраивала, а потом с ненулевой пригорел. Неблагодарные.