Бэкап малого архива данных на CD/DVD/бумагу с учетом их повреждения

многократная избыточность, а не коды коррекции ошибок

Хмм

DVDisaster

См. https://dvdisaster.jcea.es/downloads/manual.pdf

1.5 Error correction data vs. full backup

опять ищут философский камень холодное хранение…

существует широкий спектр от par2 и RAR-архивов с избыточностью по dvdisaster. смысла никакого…

«Библия». Проверено веками.

http://www.ollydbg.de/Paperbak/

На винфак.

Вот специально пишешь, чтобы была именно избыточность, а не ECC, все равно пишут про dvdisaster.

Вроде бы par2 - это тоже про коррекцию ошибок. И там в лучшем случае 100% избыточности, плюс(насколько я понял) единая точка отказа в виде файла индекса.

Смысл на самом деле есть. Мало кто может сказать как именно деградирует болванка. Там же не все дорожки превратятся в пыль, а какие-то куски будут читаемы. Даже сколотый по краю диск можно будет как-то прочитать на низкой скорости привода, хоть какие-то сектора.

В случае нескольких физических копий, даже деградировавших, опять же увеличиваются шансы восстановить.

Спасибо. Самые интересные там - это paperbackup и qr-backup с точки зрения надежности. Плотность информации от 850 байт до 3 килобайт на страницу. Это в разы меньше, чем у классического paperback от автора ollydbg, но гораздо меньше требования к сохранности бумаги и качеству принтера со сканером.

Т.е. вполне реально носить у себя в обложке паспорта бэкап всех основных паролей или приватного ключа.

малого архива данных

А что это такое, сид-фразы от кошельков с золотом партии?

Может быть рассмотреть вариант копирования без электронных носителей?

Если это бинарные данные, то можно распечатать base64, разбив на небольшие абзацы с контрольными суммами, чтобы было удобнее потом вводить с клавиатуры и быть уверенным в отсутствии опечаток.

О, оказывается всё уже придумано до нас.

В том числе и сиды к кошелькам. Но даже полный бэкап двухфакторной учетки для gmail будет содержать: резервную почту, пароль, пароль IMAP, токен TOTP, резервные коды восстановления, привязанный телефон.

В 840 байт как минимум влезут ссылки на основной большой файл архива раскиданный по нескольким облакам и пароли к ним.

Естественно это неоптимально если нужно забэкапить чисто текст. Но если в дело вступают бинарные данные или хотя бы спецсимволы в пароле, то уже проще распечатать. Тем более, что в каком-то из проектов выше автор говорил, что даже вебкамерой можно восстановить qr коды эти потом кусками по 140 байт.

Выбить на камне.

Ещё слышал о каких-то оптических носителях, у которых время появления ошибки сравнимо с возрастом вселенной.

Был неправ, современный dvdisaster помимо ecc поддерживает и дублирование данных. Но только для стратегии коррекции RS03.

RS03 will always fill the medium to the maximum possible redundancy while RS02 allows for user selected redundancies. For media filled with less than 30% of data, RS03 will create a three-fold redundancy using 170 roots which is quite compute intensive.

Ты не понял. dvdisaster не занимается простым дублированием, и выше сказано, почему. Это та же избыточность, «using 170 roots which is quite compute intensive».

А какой тогда смысл в дублирующей информации больше 100%?

Но да в любом случае dvdistater - хороший инструмент для первичного этапа восстановления, просто чтобы выдрать с диска максимум целых секторов в образ, с которым уже можно будет быстро работать.

А какой тогда смысл в дублирующей информации больше 100%?

Это не дублирующая информация, а информация для восстановления. Если есть место, почему бы не сделать её больше, хоть 1000%?

Всё-таки прочти раздел 1.5 мануала

1.5 Error correction data vs. full backup

К сожалению это не дает ответа на вопрос, что будет если полностью повреждена область данных, но остались целыми все области с ecc . Причем для ситуаций когда ecc многократно превышает размер самих данных.

Т.е. вопрос стоит - что эффективнее для восстановления. Продублировать данные 10 раз? Или же скопировать один раз и остальные 9 частей оставшегося места отвести под ecc?

К сожалению это не дает ответа на вопрос, что будет если полностью повреждена область данных, но остались целыми все области с ecc . Причем для ситуаций когда ecc многократно превышает размер самих данных.

Думаю, всё восстановится.

Специально проверил. par2 с параметрами по-умолчанию, с чексуммами сделанными на нескольких сотнях pdf, спокойно восстанавливает один удалённый файл. Если информации для восстановления будет гораздо больше, то что помешает восстановить все файлы?

чтобы выдрать с диска максимум целых секторов в образ

С этим неплохо справляется GNU ddrescue. Им же можно собирать файл из любого количества копий, поврежденных в разных местах.
Но при использовании CD/DVD у тебя всё равно остается проблема при повреждении первых секторов носителя.

В доке для демонстрации принципа работы ecc для пинкода показывается как из ecc восстанавливается сам пинкод. Но меня смущает, что в случае такого математического нахождения исходных данных через решение уравнения, может оказаться, что возможны и другие корни. Но я в математике не особо силен, и не знаю какой там алгоритм на самом деле.

Но при использовании CD/DVD у тебя всё равно остается проблема при повреждении первых секторов носителя.

А можно с этого момента поподробнее? Разве нельзя какими низкоуровневыми командами заставить сдром направить лазер на середину диска и гнать сырой поток без смещений? Допустим мы прямо в этот поток будем добавлять и ecc и номера блоков и смещения соседних блоков.

Коды Рида – Соломона

Насколько я понимаю, там строгая математика.

Есть ли программы бэкапа, которые изначально рассчитаны на небольшое количество важных данных на плохих носителях?

Проволочный магнитофон, элементы памяти на механических напряжениях.

Более того, чтобы можно было из двух и более копий носителя, поврежденных в разных местах, собрать по кусочкам изначальные данные. Никакой инкрементальщины, шифрования, сжатия и т.п. Просто чтобы формат архива был заточен под восстановление изначально.

Будь первопроходцем. Бэкапь в ЖБК.

Есть что-то такое продуманное на примете?

Пирамиды, истуканы острова Пасхи.

гнать сырой поток

Но там не сырой поток, а поток блоков. А читать произвольный блок или их последовательность могут и ddrescue, и простой dd, и cdread из cdrkit (или cdrtools), работает по SСSI. Но если повреждённая таблица разделов легко восстанавливается testdisk или даже вручную, то с iso и что там на DVD - непонятно, может и есть что-нибудь, я не знаю. Кроме того, при повреждении самого начала можно наткнуться не только на «wrong fs type, ...», но и на «no medium found».

Ну вот я про ситуацию когда «medium not found» скорее. Можно ли штатным cdrom при помощи низкуровневых команд миновать чтение таблицы файлов, а выстрелить лазером в рандомное место диска, чтобы понять есть ли там вообще что-то?

Скорее всего нет. Но можно посмотреть как, например, cdrecord отличает пустой дисковод от незаписанного CD (по исходникам, естественно).

Темы автора достовляют своей возрастающей упоротостью.
А развязка крутого сюжета - как в первой бгг.

ЗЫ «печатать» промышленным станком на CD - и завещать их детям.

По поводу бэкапа на бумаге из разряда «хранить в папке вместе с остальными документами». Остановился на qr-backup. Потому что можно считать без сканера, в крайнем случае даже со смартфона. Плотность размещения на бумаге выбрал 8-9 КБ на сторону листа А4. Это с одной стороны дает нормальную плотность информации, с другой позволяет печатать на самом дешевом принтере. В третьих позволяет распознать отдельный такой штрихкод при помощи камеры дешевых смартфонов.

Чтобы уменьшить завязку на утилиту qr-backup компрессию и шифрование решил делать стандартными xz и openpgp. В итоге вышла такая команда.

./qr-backup \
          --no-compress \
          --error-correction L \
          --filename archive \
          --instructions none \
          --no-erasure-coding \
          --scale 7 \
          --page 550 770 \
          --output out.pdf \
          archive.gpg.z

В чем упоротость идеи сделать бэкап данных используя доступные дешевые носители? Бумага и диски - это то, что вы можете купить в любом канцелярском магазине. Это то что можно запихнуть в личные вещи и документы, если срочно возникнет необходимость уехать. Копии раздать родственникам или переслать по почте.

Для рядового пользователя сделать 2-3 копии данных на жестких дисках уже дорого. Западные облака могут быть заблокированы в любой момент. Российские облака явно содержат в лицензионном соглашении пункт «можем удалять подозрительное».

То что я предлагаю непривычно, но по сути альтернатив и нет.

последнюю строчку прочёл?

Пару сотен килобайт можно и на камне выбить. Храниться будет веками даже без всякой избыточности. Переживёт и пожары и любые бедствия.

Для рядового пользователя сделать 2-3 копии данных на жестких дисках уже дорого.

Ты правда думаешь, что объём среднего (или даже маленького) HDD на бумаге выйдет дешевле?

А если объём действительно малый, то ничего дорогого тут нет, ведь эти HDD можно использовать и для других данных.

Нет, я думаю что бумага дешевле и практичнее для ситуации когда нужно сделать 2-3 копии самого важного, а потом периодически эти копии обновлять и рассылать в другие локации. Я про вещи типа учеток, паролей, телефонной книги, приватных ключей.

По поводу выдергивания кусков с битых cd/dvd. Проверил на старом диске года так 2008, дисковод просто его игнорит, пишет что нет носителя. Пробовал dvdisater, ddrescue, readom .

Видимо и правда, если убиты начальные сектора, то без специального оборудования хрен ты что-то выцепишь, даже если в середине все целое.

Перевести в QR код и выгравировать на вольфрамовых пластинах

ну и стоимость его, я так понимаю имеется ввиду лазерное выжигание в объеме кварцевого носителя, будет сравнимо с крылом боинга :)