LINUX.ORG.RU

Нужно ли «форматировать» карты памяти, флешки?

 


3

5

Товарищи, давайте поговорим об использовании флешек. Тех, что SDXC (microSDXC). У меня их пара десятков. В основном, для 360 видеокамер. Все серии SanDisk Extreme Pro. Все куплены напрямую у дистриба, поэтому «паленка» исключается.

Иногда (к счастью редко), бывает такое, что запись останавливается и надо перезапускать. Производитель камер заявляет, что это на флешках «накапливается мусор» и их надо «правильно форматировать». Даже выдали https://www.sdcard.org/downloads/formatter/ (Что, конечно, пытка, ибо эта софтина не может запускать больше одного экземпляра). Вообще встречал подобный совет («низкоуровневое форматирование») и в инструкция к сони\кэнон.

Самое забавное, что «полное (не быстрое) форматирование» и правда как бы помогает. Уж не знаю это внушение, или совпадения. Но вроде бы, реально помогает.

Но блин. Это же не жутко фрагментированный жесткий диск? Это, мать ее, флешка. У нее же нулевое время поиска и перепозиционирования, не? Зачем их профилактически форматировать? Меня дурят? Или я дурак и правда чего-то важного не знаю о них?

Из этого вылазит и второй вопрос: А почему из одной партии флешек - часть форматируется быстрее, а часть медленнее? Процентов так на 30-40 на глаз. Форматируются через приличные юсб хабы, конечно.

Буду очень рад и благодарен, если кто-то знающий матчасть откроет мне свет истины.

Важное уточнение: Если на флешки писать\читать данные (многие десятки, а порой и сотни гигов), то стабильнейшие 90 мбайт\сек держут все и всегда. Без косяков.

UPD

Как показали тесты, карточки таки убиты. На них запись сильно скачет в тестах (hd tune). При простом копировании на них файлов - почти не видно просадки. Но по факту они есть. Много, часто. До 5-10мбайт\сек вместо 90. Видать на этом записи и рвутся.

Едет новый комплект карт. Посмотрю что с ним будет.

Но вопрос «необходимости» полного форматирования с перезаписью остался открытым. В одном месте производитель утверждает, что это необходимо. В другом (мануале, кстати) рекомендует лишь быстро камерное форматирование.

Я все еще считаю, что делать полный формат флеша (вместо быстрого, или вообще пересоздания раздела) - идиотизм. Но между «считаю» и «знаю» всеж есть разница.



Последнее исправление: dk__ (всего исправлений: 5)
Ответ на: комментарий от Eddy_Em

Это утопично. Даже если правда. 9х512гб ну очень редко записываются в реальных проектах даже на половину.

Я так и не понял, есть ли там равномерность износа «в теории». Гуглится, что вроде как есть последние годы, и контроллер ровняет.

Но «на практике», она похоже есть. Ибо все 20 карт убиты равномерно. У них зебра на запись по всей длительности.

dk__
() автор топика
Ответ на: комментарий от dk__

Вообще, чертовщина какая-то: дешевый медленный флеш гарантирует 100 тысяч циклов записи. Я сильно сомневаюсь, что ты смог хотя бы десяток тысяч циклов реализовать, прежде чем твои флешки загнулись.

Похоже, и здесь копроэкономика во все поля.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Ну возможны еще какие-то косяки в реализации. Или процесс записи видео создает какие-то повышенные нагрузки.

А может сандиск скатился. А может их где-то в ахропортах убили обезумевшей рентген-установкой :))

dk__
() автор топика

Важное уточнение: Если на флешки писать\читать данные (многие десятки, а порой и сотни гигов), то стабильнейшие 90 мбайт\сек держут все и всегда. Без косяков.


а о чём тогда вообще обсуждение?

darkenshvein ★★★★★
()

Форматирую в устройстве для очистки.

grem ★★★★★
()
Ответ на: комментарий от darkenshvein
  1. Как выяснилось, это утверждение немного ложное. В бытовом смысле да, все отлично, средняя скорость (если речь о сотнях гигов) - именно такая и незаметны проблемы. Но по факту, таки провалы записи есть, флешки уставшие.

  2. Это обсуждение о том имеет ли хоть какой-то практический смысл полное форматирование с перезаписью. (Ну кроме «уничтожения» старых файлов, чтоб нельзя было восстановить. Но это пофигу вообще).

dk__
() автор топика

Наткнулся на https://ivpush.livejournal.com/374609.html Мне кажется, даже буквально ответ на вопрос @dk__ есть. А именно - «зарядка» флешек.

Пользователь зачастую использует флешку для переноса каких-то данных с одного компьютера на другой. При этом, сценарий действий следующий: воткнуть флешку в комп — записать быстро файлы — выдернуть флешку — добежать до другого компа — воткнуть флешку — считать файлы. Через некоторое время пользователь начинает замечать, что его накопитель медленно работает. Обычно в таких случаях грешат на то, что «ну, просто флешка дешевая, старая. Вот, куплю новую, она будет летать!». И действительно будет! Но ее, скорее всего, постигнет та же участь через некторое время.

zendrz ★★
()
Последнее исправление: zendrz (всего исправлений: 1)
Ответ на: комментарий от Psilocybe

Я понимаю это так: дать им возможность побыть в разъеме достаточно долго. По крайней мере, это объясняет, почему у меня одна большая (16GB), но медленная USB флешка, если ее оставить в компа, продолжает греться. Вероятно, на ней происходят указанные в статье процессы.

zendrz ★★
()
Ответ на: комментарий от greenman

У dk__ карточка почти постоянно в камере

если так, то да. Я предполагал активную съемку со сменой флешек друг за другом, так что они (или некторые из них!) не задерживаются на питании ни на фотике ни на компе

Кстати, получается что оригинал статьи - на хабре, а ЖЖ - просто какой-то хрен с горы копипастит (там много других статей, на разную тематику).

zendrz ★★
()
Последнее исправление: zendrz (всего исправлений: 1)
Ответ на: комментарий от greenman

Забавные статьи. Интересно еще насколько автор «прав», а не «думает, что».

Карты проводят большую часть жизни, конечно, в камере, в выключенном состоянии. Но и в ридерах в компе много времени тоже.

У меня еще была мысль, что может им вредит простое выдергивание из картридеров вместо «отмонтирования». Но я так всегда и со всем делаю. В т.ч. с пятилетней основной картой в фотокамере (которая здорова и цветет).

После вычитывания карт они некоторое время еще включены, потом просто выключаю ридер, без размонтирования. А при установке в камеру делаю быстрое (камерное) форматирование и запуск самодиагностики. Для готовности к следующей съемке.

dk__
() автор топика
Ответ на: комментарий от greenman

Перечитал и статью и каменты. Никто нихрена не знает. Одни догадки. Даже у «авторов публикаций». П-ц.

Тем временем, ко мне приехали еще 5тб флешек. И хочется, чтоб они прожили хотя бы год-полтора!

dk__
() автор топика
Последнее исправление: dk__ (всего исправлений: 1)

прикольно.. у меня этот sd-formatter флешку от San Disk не видит, а от Silicon Power опознаёт как SDHC девайс

при форматировании создаёт раздел начиная с 8192-го сектора
Ventoy форматирует с 2048-го

Minona ★★☆
()
Последнее исправление: Minona (всего исправлений: 1)
Ответ на: комментарий от greenman

Ничего лучше у нас нет.

Да и вопрос нифига не животрепещущий для большинства. Введу себе внутренний налог на обновление карт.

dk__
() автор топика
Ответ на: комментарий от greenman

Недавно появилась одна такая. Но там совсем другая лига. 35 килобаксов за комплект с небольшими ссд.

Беда в том, что это сразу 8 камер в одной у меня. Поэтому на один не сведешь. Да и безопаснее, когда разные накопители. Если один сбойнет - я все равно смогу сшить картинку. Т.к. у линз перекрытия с огромным запасом. Могут 4 через одну отказаться, и все равно соберу.

dk__
() автор топика
Ответ на: комментарий от dk__

имеет ли хоть какой-то практический смысл полное форматирование с перезаписью

на флешке могут быть медленные сектора
большой раздел и много файлов и сложная фс -> большая нагрузка на цп
выравнивание нужно размером кластера

doc0
()
Последнее исправление: doc0 (всего исправлений: 4)
Ответ на: комментарий от doc0

Форматирование (полное) не ремапит и ничего подобного не делает с «медленными» частями. Я как бы поверил (вроде как).

Файлов - не много. Файлов мало, просто они жирные. Обычная exfat.

Выравнивание проверил - само собой все ок, на правильное число секторов.

dk__
() автор топика
Ответ на: комментарий от dk__

У меня еще была мысль, что может им вредит простое выдергивание из картридеров вместо «отмонтирования». Но я так всегда и со всем делаю. В т.ч. с пятилетней основной картой в фотокамере (которая здорова и цветет).

это блочное устройство. обмен идет блоками. флешка ничего про фс не знает.

размонтирование нужно чтобы гарантированно сбросить состояние фс из оперативной памяти на носитель. потому что файловый кеш, структуры фс в памяти и все дела не моментально попадают на носитель. эта синхронизация происходит еще и по таймеру (не каждую секунду, а например раз в минуту или типа того), поэтому если носитель долго торчит - то там все будет ок.

если ты ничего не запысывал прям в самый последний момент перед выдергиванием, то дергай. максимум может случиться, что атрибуты у потроганных файлов последнего времени доступа не обновятся (но в венде и многих фс вроде их итак нету, либо оно отключено при монтировании). потерять что-то большее при этом врядли удастся.

n_play
()

«низкоуровневое форматирование» - это миф.

точнее это было актуально лет 50 назад, в 70-80е годы. и когда флопиком пользовались.

вот дискеты из коробки были двух видов: чистоган и pre-formatted. чистые - прям вот реально чистые. никакой сервисной информации о дорожках и прочем там не было. фс темболее.

поэтому первый раз когда втыкаешь такую по настоящему чистую дискетку - то там происходило «низкоуровневое» форматирование - создание дорожек и размечание геометрии диска.

с hdd была такая же параша. были и утилиты специальные. вот только это было, до того, как у тебя вобще комп появился и врядли ты застал это вврпнипе. раньше надо было вбивать геометрию диска (дорожки, цилинды и прочую парашу). но это сугубо сервисное дело. сомнительно что кто-то из кудахчущих про «низкоуровневое форматирование» вообще хоть раз видел подобные программы вживую. и делалось это на заводе, на производстве. диск уже был размечен в свою геометрию.

так что - каждый раз когда видишь словосочетание «низкоуровневное форматирование» - знай - это обман и миф, либо просто кто-то полностью технически безграмотный.

у флешек нет никакого низкоуровненого форматирования (блочная структура памяти - выполнена «физически» на этапе производства мелкосхем. поменять ее невозможно). зато там есть прошивка контроллера и какие-то настроечки - вот ее можно засрать или улучшить. типа как китайцы делают из 2гиговых флешек сразу 64гига.

теперь к вопросу что такое форматирование: это просто создание фс. и ничего более.

есть некое «полное форматирование» (на самом дело это ровно тоже самое + бонусом проверка диска на ошибки записью в каждый блок) - так было в венде с hdd.

собственно никто не мешает провернуть подобное и с флешечкой.

однако у флешечек писечка в том, что в стертом состоянии в ячейке находится 1. при записи лишь расставляются нули. обратный переход из нуля в 1 невозможен. только полное очищение блока (что занимает на порядки большее время, чем просто «запись»).

и вот тут неизвестно, что запысывается при «полном» форматирвоании на флешечку. hdd вот все равно, нули там будут или единицы. а флешечке нетути. это совершенно разное.

возможно спец.утилитка для флешек как раз и засирает все единицами. (что конечно же даст ломовейший прирост скорости записи - будет как новая с завода).

n_play
()
Ответ на: комментарий от n_play

Пожалуй, самый интересный пост по теме. Крутяк.

Слушай,

однако у флешечек писечка в том, что в стертом состоянии в ячейке находится 1. при записи лишь расставляются нули. обратный переход из нуля в 1 невозможен. только полное очищение блока (что занимает на порядки большее время, чем просто «запись»).

Ты это знаешь или думаешь так? Чет прям удивительно. Так же получается, что флешки должны быть как бы «одноразовые» в плане пиковой производительности (ну до форматирования). Но это не так. Там моя из фотокамеры может не форматироваться многими месяцами. И у нее все ок.

«Прироста» после форматирования я не видел ни разу.

(в рамках терминов в этой теме: «низкоуровневое» и «полное» - тут как синонимы, пусть и некорректные. понятно, что это не дискета)

dk__
() автор топика
Ответ на: комментарий от dk__

я гарантирую это

Ты это знаешь или думаешь так?

это тянется еще с момента основания времен. если помнишь, то раньше микросхемы ромов были с окошком из кварцевого стекла для стирания уф облучением - так вот в момент стирания как раз туда вписывались единицы. в момент записи ты расставляешь нули.

и уже потом появились микросхемы которые сами себя стирать могут. (угадай почему оно «флеш» (вспышка) называется. но сам принцип не поменялся.

купи новую чистую микросхему nand памяти и считай ее через пограматор - будут единицы.

Так же получается, что флешки должны быть как бы «одноразовые» в плане пиковой производительности (ну до форматирования). Но это не так. Там моя из фотокамеры может не форматироваться многими месяцами. И у нее все ок.

если бы ты писал в голую микросхему то, да, сразу бы заметил. но там сидит хитрый контроллер и тихо и незаметно делает свое дело.

чтобы скорость была норм - контроллер должен иметь какой-то процент блоков в запасе нетронутых (которые стерты - тобишь заполнены единицыми) (но ему о том, что их содержимое неактулаьно еще надо как-то сообщить - тобишь trim или его аналог сделать)

n_play
()
Ответ на: комментарий от dk__

Сандиск скатился в сраное говно. Почитал отзывы на амазоне - это просто портал в ад. Чип памяти не защищен, ее можно тупо ногтем сломать. Надежность - никакая. Тьма жалоб, что дохнет за дни и недели.

Похоже надо брать дешман флешки и через год их выкидывать. И иметь запасных 1-2 комплекта.

dk__
() автор топика

Как показали тесты, карточки таки убиты. На них запись сильно скачет в тестах (hd tune). При простом копировании на них файлов - почти не видно просадки. Но по факту они есть. Много, часто. До 5-10мбайт\сек вместо 90.

поидее в эти моменты просадок как раз и происходит экстренное очищение блоков (заполнение их единицами). скорость очищения блоков на пару порядков медленне чем «запись».

такое поидее может происходить только по одной причине. флешки забиты информацией под горлышко.

либо контроллер просто не знает, что флешка на самом деле полупустая (trim и прочее - хз есть ли оно на мелкосд картах или нет) и из-за не может в фоновом режиме подготовить и стереть кучу блоков одновременно. поэтому такое случается это именно в момент перезаписи и из-за этого происходит просадка скорости записи.

если бы была реальная возможность быть уверенным что есть какая-то команда, которая реально выполнит очищение всей флешки - то наверное все бы ей пользовались. знать бы как заставить контроллер флешки выполнить именно эту операцию. тогда был бы WIN. (но это снова не «низкоуровневое форматирование» - это самая обычная процедура стирания микросхемы памяти)

n_play
()
Ответ на: комментарий от n_play

Нашел самую убитую. Пару раз ее форматнул по полной. Потом начал на нее закидывать крупные (десятки гигов) файлы и смотреть. И, о чудо, запись была «быстро и ровно». Но после заполнения флешки (и уделения файлов) опять пошел регресс, и опять жопа. После очередного «полного» форматирования опять стало лучше. А потом опять хуже.

Чертово говно.

dk__
() автор топика
Ответ на: комментарий от dk__

Но после заполнения флешки (и уделения файлов) опять пошел регресс, и опять жопа.

зато теперь на практике знаешь для чего нужен trim на ssd и прочих современых носителях

n_play
()
Ответ на: комментарий от greenman

Такого давно нет.

Если ты не знаешь про до сих пор производимую и используемую NOR-память, не обязательно, что ее не существует ))

zemidius
()
Ответ на: комментарий от zemidius

Имелось в виду в масс-продакшене. Другое выпадает из контекста.

Нужно ли «форматировать» карты памяти, флешки? (комментарий)

greenman ★★★★★
()
Последнее исправление: greenman (всего исправлений: 1)
Ответ на: комментарий от zemidius

Речь не про цену!

Речь про:

  • чип не защищен механически, как бывает на более дешевых картах
  • не единичные случаи смерти за дни и недели
  • гарантия 2-3 года при якобы сроке службы 13 лет
dk__
() автор топика
Ответ на: комментарий от dk__

Карты зебру на запись дают уже

Стирать с помощью blkdiscard пробовал? Чтобы blkdiscard сработал, понадобится встроенный картридер, который цепляется по PCI или PCIe. На внешних, которые подключаются через USB, команда на стирание вряд ли пройдёт.

i-rinat ★★★★★
()
Ответ на: комментарий от i-rinat

Интересно было бы попробовать. И есть в ноуте именно такой ридер (с ним, кстати, hd tune отказывается записывать). Но чет лень онтопик на него ставить и разбираться.

Ну вообще «на разочек» помогает просто полное форматирование. Но работать с таким уже нельзя. Надо новые покупать. Один комплект уже купил.

dk__
() автор топика
Ответ на: комментарий от i-rinat

Чтобы blkdiscard сработал, понадобится встроенный картридер, который цепляется по PCI или PCIe.

Спасибо, не знал об этом. Как раз образовалась глючащая microSD, начал экспериментировать. По крайней мере fstrim говорит, что отработал.

greenman ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.