а ты думал почему на ssd все не замолкают про trim

Производитель камер заявляет, что это на флешках «накапливается мусор» и их надо «правильно форматировать».

Хрень какая-то, я бы потестировал флешки на скорость записи ради интереса. В идеале, на зависшую флэшку без предварительного форматирования.

Если это не проблема камеры, то по какой-то причине скорость записи падает ниже порога. Запись видео к фрагментации не располагает. Интересно, какой буфер на камере.

Если на флешки писать\читать данные (многие десятки, а порой и сотни гигов), то стабильнейшие 90 мбайт\сек держут все и всегда.

А карточку быстрее поставить в камеру нельзя? Просто потестировать.

С моей точки зрения, это скорее к тому, есть ли wear leveling на этих карточках, и если есть, то какой он, static or dynamic.

https://forums.sandisk.com/t/which-sandisk-cards-support-wear-leveling/34679/2

https://www.reddit.com/r/raspberry_pi/comments/ex7dvo/quick_reminder_that_sd_cards_with_wearleveling/

(уж trim эти карточки, как правило, не поддерживают)

Самое забавное, что «полное (не быстрое) форматирование» и правда как бы помогает

Я бы сравнил это форматирование с забиванием нулями пустой флешки. По идее, и то, и другое даёт контроллеру флешки информацию, что ячейки пустые.

Товарищи, давайте поговорим об использовании флешек. Тех, что SDXC (microSDXC). У меня их пара десятков.

эти «флешки» карты памяти. разница «в железе» между ними очень существенная. никто же не утверждает, что USB-флешка это тот же HDD – хотя, для пользователя ОС именно так его и характеризует.

В основном, для 360 видеокамер. Все серии SanDisk Extreme Pro. Все куплены напрямую у дистриба, поэтому «паленка» исключается.

блин… ключевое слово «почти»

«паленка» почти исключается.

если «эффективные» менеджеры решат осенить своим брендом годный(?) ноунейм, вряд ли это будет преподносится как маркетинговое преимущество. а причины у них всегда найдутся так делать. карту памяти не разберешь и пользовательское ПО/«железо» ничего достоверного о «начинке» не расскажет. остаётся только верить, что производитель не оптимизирует свою прибыль выпуская «почти» те самые© карты памяти

почему из одной партии флешек - часть форматируется быстрее, а часть медленнее

см. выше. что там за начинка/техпроцесс(? ну а вдруг:) знали только на фабрике их штампующей. никого же не удивляет, что часть CPU «отбраковывают» в более «слабые». здесь тоже что-то подобное, только об этом не распространяются.

Если на флешки писать\читать данные (многие десятки, а порой и сотни гигов), то стабильнейшие 90 мбайт\сек держут все и всегда. Без косяков.

ну вот и критерий «сортировки по сериям» – при этом даже примитивная* карта памяти достаточно сложна, чтобы в определенных условиях вести себя «разнообразно». насколько я понимаю они тестируют какой-то %(сколько-то штук) из производственной серии на соответствие «маркетинговой серии».

Часто в камере есть своя функция форматирования, она должна отформатировать как больше всего нравится камере.

Если вспоминать дискеты то format /b обнаруживал битые сектора и работал медленнее на битых дискетах, контроллер флешки может тоже так работает, только сектора не метит, а замещает из резерва как в нормальных жестких дисках, но это не точно.

Флеш-память сама по себе может и просто устроена, но конкретные устройства очень хитро сделаны. Там и транслятор, чтобы равномерно заполнять и резервные какие-то блоки и кэш-память из разных типов памяти - все это сильно нетривиально работает.

У SSD есть функция Software Erase, которая чистит накопившуюся регрессию с заполнением ячеек. Что-то такое может и при форматировании происходит.

Тред не читал.

Для флешек, при записи бита, неважно, 0 или 1, необходимо в ячейку записать 0 (00 для mlc, 000 для tlc), т.е. полностью убрать заряд из неё. Не исключено, что флешка не проверяет факт удачного стирания ячейки, и при записи в такую ячейку там оказывается совсем не то, что туда записывали.

Понятно, что в основном я с них сливаю в комп материалы, но иногда и записываю на них что-то (много). В обоих случаях стабильные ровные 90мбайт\сек. Без провалов, без косяков. Вместе начинают, вместе заканчивают.

«Еще более быстрых» - нет, но если поставить «медленную», то камера при тестировании флешек точно пишет «хрен вам, не буду».

После установки комплекта карт и до первой записи нужно запустить внутреннее тестирование, она их тормошит с минутку и потом выдает вердикт. Если будет медленная карта - откажется писать. Иногда подобный отказ выдает и на мои быстрые карты. И после этого «помогает» их отформатировать полностью.

Сама камера умеет только «быстрый» формат, поэтому производитель и советует делать полное внешнее.

По утрам мой английский особенно плох. Можешь резюме? Если там важное что-то.

Я рассуждаю практически, если из 2 десятков карт памяти все 100% ровно стабильно и без косяков пишут\читают ровно по 90мбайт сек, то карты в порядке, не?

Но вот то, что они форматируются различное время - это меня сильно удивляет.

Именно в этих нет, только «быстрое». Причем если перемудрить с размером сектора при ручном полном форматировании, то будет просто необходимо отформатировать «по быстрому» в камере.

Ну каких-то «ошибок содержимого» не встречал ни разу и никто. Не бывает битых файлов и т.п.

Решил завтра после съемки вот еще как упороться:

Пройтись по всем картам кристалмарком. Вдруг какие заметные расхождения будут. Вчера вечером фоматировал, так некоторые карты два с лишним раза дольше (!) форматировались, чем соседи.

Ридеры и хаб у меня давно и нареканий не вызывали ни разу.

А зачем пустые 16мб?

Заметил, что на картах есть не размеченные 16мб. Удалил разделы и сделал низкоуровневое форматирование в зеркалке. Она создала раздел пропустив 16мб. Зачем это делается?

Где-то я сохранял треды про флешки, что там заводское форматирование выполнено по фен-шую, а самостоятельно повторить это не так-то просто.

Может резерв для выравнивания износа? А какой размер карточек? 16 МБ как-то мало. Может даже лучше сделать побольше.

Всё-таки как нибудь попробуй вместо форматирования забить флешку нулями. У тебя оффтопик же?

sdelete -z f:

f: — буковка флешки (путать нельзя, надеюсь понятно).

А хрен его знает. Ровно 16. Независимо от флешки (на 128, 256 или 512гб)

А скорее для выравнивания логических секторов к размеру блока стирания флэша.

С мультимедийными файлами проблем как раз не будет. Уедет оттенок одного пикселя на фотке, или пропадёт маленький квадратик из нескольких файлов на видео.

Проблемы будут, если неправильно запишется что-то из потрохов файловой системы, вроде в каком секторе какой кусок файла лежит.

Всё-таки как нибудь попробуй вместо форматирования забить флешку нулями.

а почему не единицами? Ведь там NAND

Когда-то я думал на эту тему. Даже однострочник находил для заполнения единичками. Подумал ещё — понял, что ничего не понимаю.

https://superuser.com/questions/1610737/how-to-fill-a-flash-drive-with-1s-instead-of-zeros

https://superuser.com/questions/1242000/can-i-emulate-trim-by-writing-all-zeros

https://superuser.com/questions/533474/can-zero-filling-reset-wear-leveling-of-usb-sticks-flash-drives

В общем, зависит от контроллера. Теоретически, можно проверить, наблюдая за скоростью чтения большого файла, состоящего из сплошных нулей (или, наоборот, единичек).

из 2 десятков карт памяти все 100% ровно стабильно и без косяков пишут\читают ровно по 90мбайт сек, то карты в порядке

вероятно, да

то, что они форматируются различное время - это меня сильно удивляет.

эта «тема» покрыта мраком чуть более, чем полностью. все низкоуровневые операции выполняет контроллер карты – «что» и «как» нам абсолютно неизвестно.

Вендорская ФС на microsd-картах

Запусти еще раз форматирование на медленной карте. Навсегда это замедление или прошло?

Не понимаю нахрена выравнивать флешки. Ну не черепичная запись же.

Сижу на съёмке в 3 камеры. Одна - заказчика, и он не форматировал флешки. На ней запись уже 3 раза за минут 40 дропнулась. Мои обе ок.

Все флехи одинаковые.

Не понимаю нахрена выравнивать флешки. Ну не черепичная запись же.

Если не выровнено, прийдётся занулять 2 блока при записи одного сектора, если он пришёлся на их «стык», при этом они могут находиться на разных чипах.

Суть понимаю. Но поиск и передислокация же нулевые.

Надо вникнуть как правильно выравнивать и проверять, убеждаться, что выровнял.

Подскажет кто-то в деталях? Можно и под линукс.

Кстати, камеры на убунте.

Ничуть не нулевый. Но на линейной записи отлично сглаживается кэшами. Ты попробуй blkdiscard. Он в ядре реализован для mmc драйвера. Дело за поддержкой у контроллера карты. Если действительно в сбросе nand дело, то такие карточки одноразовые получаются. Можешь попробовать увеличить пусто место.

Два чаю этому господину.

Но без особой надобности злоупотреблять форматированием все же стОит.

нифига не нулевые. чтобы записать один сектор на загаженную флэшку, нужно считать всю страницу памяти, заменить в ней один сектор, и записать эту страницу в новое место.

ну и да, в microsd iops на запись совсем печальный…

Но разве «быстрое форматирование» - это не просто удаление файловой таблицы? Сами данные да, на месте. Но ФС же про них больше «не знает»? Разве для сохранения производительности прям необходимо делать «полное» форматирование?

Я перечитал тьму разных инструкций, в т.ч. от официального альянса SD «форматтера», который типа Ъ и православен. Даже там свелось к тому, что полное надо делать, если вы хотите уничтожить файлы. И ни слова про влияние на производительность.

Некоторые флешки на полной скорости только ограниченный объем данных могут записать, кмк они в фоне ищут заранее свободные блоки, но не на всю флешку, а ограниченное количество.
При форматировании нужно выравнивание в блоки нужного размера

Хорошо, а USB-флешку надо форматировать с выравниванием?

есть улита flashbench
чтобы понять как она работает мне пришлось смотреть исходный код, но забыл за ненадобностью т.к. F2FS 2MB блоки не изменить.
Там страницы, блоки стирания, группы распределения, и по разнице времени отклика можно вычислить их размеры, но она не умеет блоки например 512*3

туда могут прописать некоторые устройства свои данные его для совместимости делают, себе без разделов форматирую

я не в курсе что подразумевается под «бытрым форматированием» в конкретном случае, и что конкретно делает волшебная утилита (и вообще поддерживает ли переходник ERASE команду).

а вообще у SD карт есть искаропки ERASE (CMD32/CMD33/CMD38).

ну а выравнивание начала ФС - оно никаким образом не связано с тем, как именно форматируется флэшка. пушо ФС изменяется блоком (размер которого задается при создании ФС), и запись блока ФС, который попадает на две страницы флэша, вызовет две операции записи контроллера.

Ну в разных софтинах, в гуях венды, в гуях камер бывает «быстрое форматирование» и «форматирование» (полное, низкоуровневое - кто как подпишет)

Вот в вендах или утилите от альянса SD «не быстрое» форматирование - это прям реально перезапись всей флешки, долго, муторно, на скорости ее записи. Я не вижу от этого пользы кроме как физически удалить данные предыдущих файлов.

В зеркалках правда прикол какой-то. Там обычное быстрое форматирование - это уж точно просто сброс таблицы файлов. Как бы очистка и все. Длится ну 2 секунды максимум. А «низкоуровневое» - какое-то странное. Они длится секунд 30. Т.е. железно ничего не перезаписывает по всей флешке (не успеет и процента). Но что-то там делает. Что именно - мне неведомо.

Вот скажи, в полном форматировании с перезаписью всех 100% емкости (доступной) какой сакральный смысл? Ну кроме уничтожения данных.

Вот что пишет мануал утилиты от SD альянса:

Formatting Option, Quick format This option performs a quick formatting. It deletes all the file/directory entries by initializing file system parameters of the card but does not initialize the data written in files. If you need to initialize the data in the files, use the [Overwrite format] option.

Formatting Option, Overwrite format This option deletes file/directory entries by initializing file system parameters of the card and erase all data by overwriting the user data area completely. This formatting option takes much longer time than Quick format depending on the card capacity. Please make sure that your computer is connected to a power supply and that sleep mode is disabled.

Еще понять бы если ли у приличных бытовых карт контроль равномерности износа.

А энтерпрайз карточки совсем дорогие?

Довольно. Но они ещё медленные и мелкие. По 64 вроде. А надо 512.

может процессор в камере неосилятор тебя реально просто дурят сваливая все на других, попробуй другую фс другой размер кластера раздел не на всю флешку

Другую ФС нельзя, только exfat.

Вообще похоже на то, что флешки просто износились. Проверю их в другой камере и куплю новый комплект. Посмотрим.

Надо вникнуть как правильно выравнивать

Обычно достаточно создавать разделы средствами современных операционных систем (сами выровняют).

и проверять, убеждаться, что выровнял.

В свойствах раздела смотри позицию первого сектора. Должна быть кратна размеру блока.

Можно и под линукс.

gparted

В свойствах раздела смотри позицию первого сектора. Должна быть кратна размеру блока.

В случае fat32, например, это только пол-дела:

Быстрая флешка под систему (комментарий)

А ты их полностью очищаешь, когда место кончается, или оставляешь часть файлов?

Кстати, о флешках: мой голимый смартфон (леново а5) убивает microSD-флешки! С полгода назад это началось, когда он взял, да угробил одну флешку (на которую его память расширялась, т.к. на несчастные встроенные 16ГБ офлайн карты для походов не сохранить, да и софта необходимого не поставить). Я решил, что флешка сама сдохла и воткнул другую (подороже). С ней через неделю произошло то же самое. И стал я жить без флешки, пока не отрыл намедни неиспользуемую запакованную скоростную microSD, решил ее воткнуть в смартфон. Воткнул. И через 2 дня эта чертова лопата и эту флешку убила!!!

Флешки убиваются капитально: fdisk что-то показывает, но любые попытки обращения к флешке вызывают ошибки и даже отформатировать ее я не могу.

Обычно я копирую материалы на комп. Проверю, что все забрал. Копию еще раз на другой комп. Потом удаляю все с флешек и форматирую их в камере (как и советует производитель).

Ну я, вообще, и раньше слышал, что видеозапись карты убивает со временем. Но как-то это стало прям быстро и «неожиданно».

А она их таки убила. Я погонял тесты. Карты зебру на запись дают уже (на чтение - ровно). Заказал новый комплект.

Надежней всего забивать «до упора» и лишь потом полностью очищать. Чтобы и банки памяти расходовались равномерно, и фрагментации не было.