Выше надежности чем на HDD пока еще нет.

До первого падения :)

какой ужас. ну не роняйте, чо ))

Синхронизация != бэкап, и версионирование в Syncthing - неуклюжий костыль, он даже без CoW. Бэкап посредством Syncthing лишь капельку лучше вытыкания и уноса диска из RAID-1 =)

Вот что будет, если я сто раз перезапишу файл мусором на одной из нод твоего «бэкапа»?

Синхронизация != бэкап

Ага. И это я отдельно отмечал.

и версионирование в Syncthing - неуклюжий костыль

Я бы сказал, что после него обычный бэкап — костыль :)

Вот что будет, если я сто раз перезапишу файл мусором на одной из нод твоего «бэкапа»?

То же самое, что с обычным стократным бэкапом забитым мусором. Безлимитиного бэкапа нет нигде. И от такого вандализма не защитит ни что.

2 HDD по 1 ТБ в экранированном корпусе, на одном рабочее, на другом личное. Самое важное (там немного, пару гигов) продублировано на болванки.

Старый добрый иммутабельный бэкап с очисткой по времени защитит.

что такое версионный бакап.. это случием не разностный. в нете тока словоблудие.

Старый добрый иммутабельный бэкап с очисткой по времени защитит.

Ты не сможешь вместить в нём, скажем, 100 изменений по 100Гб :)

Для штуки с такой гранулярностью восстановления нужна VCS, что опять ортогонально бэкапу =)

А SSD?

А SSD?

SSD может сдохнуть просто лежа в шуфлядке. Потом у него совершенно официально со временем теряется заряд (читай данные).

Вообще пользование ССД приучает делать регулярные бэкапы. Раньще как-то не особо парился по этому поводу.

Ну хоть какой-то позитивный момент ))

домашний фотоархив (850Гб где-то) лежит в двух копиях дома и в двух копиях в облаке.

Конкретно про фотографии (ну, м. б. не все, а самые памятные). Недавно тётка скидывала с телефона фотографии своих внучек и между делом произошёл примерно такой разговор:

ОНА: Вообще, телефон — штука очень ненадёжная.

Я: Но у меня всё дублируется на hdd, а многое ещё и на dvd или cd.

ОНА: Но это всё тоже может грохнуться.

Я: Грохнуться может всё что угодно.

ОНА: Надо хотя бы самые памятные фотографии напечатать в фотоателье.

Имхо, разумно. Да, и напечатанные фотографии могут потеряться, размокнуть в воде или сгореть в пожаре. Однако уже более чем вековая практика хранения такого рода фотографий наглядно доказывает её надёжность, в то время как практикам хранения фотографий на любых цифровых носителях (да ещё и в домашних условиях) от силы лет 30, даже меньше.

А вообще, чем дальше, тем всё быстрее, меньше в размерах и большей ёмкости, но скоротечнее и скоротечнее. Тут кто-то вспоминал про гранит и керамику. А мне вспомнился один давнишний пост ещё в Фидо о том, что наскальной живописи десятки тысяч лет, и она всё ещё не стёрлась и не разрушилась; древним книгам и свиткам — сотни, иногда — одна - пара тысяч лет, и их ещё можно прочитать; а сколько лет проживут самые долгоживущие цифровые носители?

P. S. Хотя есть и хорошие новости. Я тут недавно решил попробовать заюзать 2 Гб флэшку 15-летней давности, и могу сказать, что работает она безупречно!

Ок, спасибо.

Вот кстати твой тред, который мне показался весьма интересным:

SSD - развод?

Я выписал оттуда некоторые комментарии, разделил их на 2 части, по смыслу.

--- 1 ---

Потому что если диск двинул кони от исчерпания ресурса, все данные сохраняются, но становится в RO. HDD дохнет так дохнет. — Lordwind

Это меняет дело. — dikiy

Погоди радоваться, SSD может двинуть кони и по другим поводам, тогда ты все потеряешь :) — cipher

Но эти же причины легко гробят и HDD :) — Lordwind

Ну что ж ты так сразу, я ТСа к этому плавно подвожу :) — cipher

По каким? Контроллер сдохнет? Данные при этом не потеряются. — Siado

Ага, они будут на месте. В очень-очень надёжном месте. Таком надёжном, что даже владелец до них не дотянется. — Lighting

Решается заменой контроллера. — Siado

--- 2 ---

При равных условиях хранения SSD как раз дольше может пролежать в изолированной коробке. — Goury

утечка заряда же. а намагниченность не настолько сильно подвержена этому. — dikiy

Какая-к-чертям-ещё-утечка-заряда? хотел написать я, но потом на всякий случай повторил матчасть и прочитал доки. И правда, по всем спекам гарантированный период хранения данных на флешках составляет от одного до пяти лет. — Goury

Не только утечка заряда — ещё диффузия. — Quasar

--- Итого ---

HDD:

• Данные могут быть испорчены вследствии механической поломки
• Данные могут быть испорчены вследствии постепеннего, хоть и очень медленного, саморазмагничивания

SSD:

• Данные могут быть испорчены вследствии постепенной потери заряда и диффузии. Процесс происходит быстрее (?), чем саморазмагничивание HDD.
• Ограничение на количество перезаписей.
• Важное преимущество: при исчерпании ресурсов диска (количество перезапией) данные не теряются, а остаются в RO. Но я не понял, спасает ли это от потери заряда и диффузии.

HDD:

Данные могут быть испорчены вследствии постепеннего, хоть и очень медленного, саморазмагничивания

насколько я понимаю природу магнетизма, то саморазмагничивание при обычной температуре произойдет чуть раньше чем никогда.

SSD:
Данные могут быть испорчены вследствии постепенной потери заряда и диффузии. Процесс происходит быстрее (?), чем саморазмагничивание HDD.

намного быстрее. Потому что намагничивание — это перестройка каких-то там кластеров (не помню уже) внутри материала. И это состояние устойчиво, в отличие от заряда, который постоянно стремиться утечь куда-то.

Ограничение на количество перезаписей.

Важное преимущество: при исчерпании ресурсов диска (количество перезапией) данные не теряются, а остаются в RO.

вот кстати интересно было бы историю успеха увидеть.

Но я не понял, спасает ли это от потери заряда и диффузии.

не спасает.

Ага, спасибо за уточнения.

землетрясение, пожар, прорыв трубы и затопление, сумасшедшие родственники

myLogin написал:

И правда, по всем спекам гарантированный период хранения данных на флешках составляет от одного до пяти лет.

Я как раз постом выше писал, что извлёк из небытия флешку ~ 15-летнего возраста, и на ней не только были все данные, но она нормально переформатировалась и снова записалась. Это, конечно, можно считать удачей, а не гарантией, но всё-таки... Кстати, больше всего проблем возникло с колпачком, который за эти годы прирос к флешке и долго не хотел сниматься, чтоб обнажить usb-разъём. :-)

Важное преимущество: при исчерпании ресурсов диска (количество перезапией) данные не теряются, а остаются в RO.

вот кстати интересно было бы историю успеха увидеть.

Не раз такое видел на флешках из автомобильных регистраторов, постоянно записываемых по кругу.

скорей всего на сделана по технологии SLC, одна градация заряда на ячейку, это сильно отличается от современных TLC - восемь градаций заряда на ячейку (три бита хранения).чем меньше разница между уровнями - тем быстрее данные деградируют.
далее размер ячейки - с развитием технологий оне уменьшаются, с уменьшением размера уменьшается количество хранимого заряд, и при тех же токах разрядки деградирование происходит быстрее.
единственный плюс - совершенствование технологий и материалов. они улучшают качество элементов, но это не для кетайских дешовых флешек, там работают от принципа «чем меньше цена тем больше ее покупают»

есть множество условий за и против, говорить по сему поводу можно долго нудно и тупо.
опять же не видел ни одного исследования по надежности и времени хранения данных на флеш-носителях. либо знающие люди на такое просто не рассчитывают либо хз...

прошу адептов накидать пруфов, тобеж экспериментальных исследований по надежности носителя.

Имхо, разумно.

Не очень. Долговременность современной фотопечати невысока :-/ Это чёрно-белое серебро было при правильной обработке офигенно долговечным. В семейных архивах и столетние фотки ещё нормально хранятся. С цветным фото уже всё было резко хуже. На свету быстро выгорают, цвета уползают… Семейные цветные фотки 40-летней давности уже достаточно печальны :) Современная цветная печать ещё хуже, хотя тут многолетней статистики нет.

Но, главное, уровень потерь таких фоток просто ужасающий. Многие фотки у меня сохранились как раз только потому, что я из в нулевых годах отсканировал, как только первый сканер купил :) Теперь их на бумаге фиг найдёшь.

Я тут недавно решил попробовать заюзать 2 Гб флэшку 15-летней давности, и могу сказать, что работает она безупречно!

Нерепрезентативно :) У меня несколько флешек накрылось. Начиная ещё где-то с 64Мб.

если диск двинул кони от исчерпания ресурса, все данные сохраняются, но становится в RO. HDD дохнет так дохнет. — Lordwind

Тут два момента.

1. Если HDD двинул кони, но не запорол физически диски, то такие HDD легко восстанавливают.

2. SSD, которые у меня накрывались, переходили не в R/O, а вообще переставали работать. Это у многих производителей так :)

Самостоятельное восстановление данных с накрывшегося HDD перекручиванием контроллеров/механики требует более низкой квалификации, чем перепайка чипов SSD.

Но, по хорошему, при грамотном хранении, это всё должно быть пофиг. У меня если сдох, то и чёрт с ним. Поставил новые, включил в syncthing, подождал, пока утянутся данные с других машин :)

Архивы и резервы

Прежде чем обсуждать где хранить бекапы нужно убедиться, что все участники дискуссии понимаю разницу между архивными копиями и резервными копиями.

Резервные копии нужно хранить поближе к серверу, в идеале (если денег на это дадут, а на ТАКОЕ не дадут) — в оперативной памяти, чтобы быстрее восстанавливаться.

Архивные копии нужно хранить подальше, понадёжнее (в сейфе, в бункере), в нескольких экземплярах, обязательно иметь отключенные копии.

Да, спасибо за уточнения :)

Долговременность современной фотопечати невысока :-/ Это чёрно-белое серебро было при правильной обработке офигенно долговечным. В семейных архивах и столетние фотки ещё нормально хранятся. С цветным фото уже всё было резко хуже. На свету быстро выгорают, цвета уползают…

Да, этого момента я не учёл.

Семейные цветные фотки 40-летней давности уже достаточно печальны :)

Ничего себе. У меня цветных фотографий 40-летней давности (т. е. сделанных ещё в 70-е) ровно одна, и та не знаю где.Хотя догадываюсь, где она может быть. Надо будет найти и посмотреть.

Но, главное, уровень потерь таких фоток просто ужасающий.

Под потерями имеется в виду то, что они просто теряются? Если да, то точно так же можно потерять любые носители. А если разложить их по фотоальбомам, которые запихнуть в тёмный и сухой ящик, то куда они денутся?

Я тут недавно решил попробовать заюзать 2 Гб флэшку 15-летней давности, и могу сказать, что работает она безупречно!

Нерепрезентативно :) У меня несколько флешек накрылось. Начиная ещё где-то с 64Мб.

Так я со своей одинокой флэшкой на репрезентативность и не претендую. Однако если хотя бы одна флэшка может храниться ~15 лет, из которых последние данные перед извлечением из небытия на неё были записаны ~10 лет назад, значит такое возможно и с другими флэшками. Вопрос только в качестве производства и условиях эксплуатации и хранения, а не в принципиальной недолговечности любых флэшек. И ещё мне тут подсказали, что, вероятно, флэшка эта slc. А так у меня не только флэшки грохаются, но и нжмд. Но я ведь не делаю из этого вывода, что магнитная запись принципиально недолговечна.

Кстати, посмотрел в Википедии, вот что там написано касательно долговечности:

Срок хранения заряда, заявляемый большинством производителей для бытовых изделий, не превышает 10—20 лет[источник не указан 1858 дней], хотя гарантия на носители даётся не более чем на 5 лет. При этом память MLC имеет меньшие сроки, чем SLC.

А совсем не

по всем спекам гарантированный период хранения данных на флешках составляет от одного до пяти лет.

(Если говорить о реальных сроках, а не о гарантийном обслуживании).

скорей всего на сделана по технологии SLC

Очень может быть.

прошу адептов накидать пруфов, тобеж экспериментальных исследований по надежности носителя.

Для этого разумнее отдельную тему создать. Я же со своей стороны могу сказать, что есть у меня ещё одна старая флэшка, которой лет 7 - 8, и которая до сих пор нормально работает.

1. Стоит ли это вообще хранить? Что такого может создать среднестатистический лоровчанин, что стоило бы бэкапить? Тысячелетиями бэкапы хранят, а толку? 2.Шансы проёба всех полимеров лоровчанином по причине: пьяного электрика, грабителя, закона о запрете хранить локальные бэкапы в разы выше, чем вероятность потери данных в датацентре. Вывод: Фейсюук, Гугл диск и т.д. и т.п. Наиболее эффективность показала наскальная живопись, иегролифика, устная тора.

Под потерями имеется в виду то, что они просто теряются?

Да.

Если да, то точно так же можно потерять любые носители

Потерять, грубо, пятьдесят фото из сотни (за 10-20-30 лет) намного проще, чем один единственный реплицируемый и несколько раз дублированный в разных местах репозиторий :) Тут, правда, возникает вопрос преемственности поколений. Фотоальбомы можно передать детям/внукам уже после смерти владельца, а вот с множественными бэкапами это сделать уже сложнее. Тут и квалификация человека нужна, и желание… Впрочем, с обычными фото тоже проблема есть — так было потеряно много фотографий моей бабушки после её смерти. Они достались моей тёте, а та их просто сожгла за ненадобностью…

Срок хранения заряда, заявляемый большинством производителей для бытовых изделий, не превышает 10—20 лет

Это немного :) Мой цифровой фотоархив начинается, где-то, с 1998 года. То есть уже 20 полных лет. Тьфу-тьфу-тьфу, ни одна фотка на хранении за этот срок не пропала.

Потерять, грубо, пятьдесят фото из сотни (за 10-20-30 лет) намного проще, чем один единственный реплицируемый и несколько раз дублированный в разных местах репозиторий :)

Не согласен. Тут нужна статистика успешного хранения таких облаков 10-20-30 лет. Пока мест, думаю, статистика если и имеется, то не больше 10 лет.

Они достались моей тёте, а та их просто сожгла за ненадобностью…

Облако ей даже сжигать не пришлось бы. Достаточно просто забыть (или не знать с самого начала) логин и пароль. А если облако платное, то просто перестать платить. Ну и долговечность облачных сервисов, как платных, так и бесплатных, непредсказуема.

а вот с множественными бэкапами это сделать уже сложнее. Тут и квалификация человека нужна, и желание…

И не забывай про развитие технологий. Какой-нибудь бекап дырочек на перфолентах и перфокартах теоретически мог сохраниться с 60 годов до наших дней, но где взять перфоратор для чтения этого бекапа? Дисковод для нгмд пока что можно купить, но всё труднее и труднее. CD/DVD дисководы пока мест продаются без проблем, но что будет через 10 лет? И будет ли через 20 лет существовать usb? А что будет через 20 лет с sata? Бумажным же фотографиям никакие интерфейсы, кроме глаз, не нужны.

Срок хранения заряда [skip] не превышает 10—20 лет

Это немного :)

А я и не говорю, что это много. Много — понятие относительное. Если сравнивать с наскальной живописью, то любые другие способы хранения информации, включая керамические таблички и берестяные грамоты, крайне ненадёжны и недолговечны. Однако это намного больше 3 — 5 лет, о которых говорилось в каменте, на который я отвечал.

Мой цифровой фотоархив начинается, где-то, с 1998 года. То есть уже 20 полных лет.

У меня сидюки, записанные в начале 0-х, ещё читаются, а то, что было записано в 90-е (тогда их называли «золотыми дисками») — уже в основном нет. Правда, храню я их в основном в бумажных пакетиках, а не в коробочках. А вот штампованные заводские сидюки 90-х в основном всё ещё читаются, хотя есть и неприятные исключения (так, мне не удалось прочитать с одного такого сидюка 4-ю полуось).

1. Стоит ли это вообще хранить?

Что «это»?

Что такого может создать среднестатистический лоровчанин, что стоило бы бэкапить?

Личный фото/видео архив, рабочие проекты, настройки системы, да много чего!

Тысячелетиями бэкапы хранят, а толку?

Толк внезапно возникает, когда диск накрывается медным тазом.

2.Шансы проёба всех полимеров лоровчанином по причине: пьяного электрика, грабителя, закона о запрете хранить локальные бэкапы в разы выше, чем вероятность потери данных в датацентре. Вывод: Фейсюук, Гугл диск и т.д. и т.п.

У датацентров свои проблемы. Поэтому разумнее, как здесь уже говорили, использовать и датацентры, и локальные хранилища.

Наиболее эффективность показала наскальная живопись, иегролифика, устная тора.

Согласен. Только устная тора не торт. Как показывает практика, легенды, передающиеся из поколения в поколение исключительно устно, имеют тенденцию меняться до неузнаваемости уже через пару поколений.

И не забывай про развитие технологий. Какой-нибудь бекап дырочек на перфолентах и перфокартах теоретически мог сохраниться с 60 годов до наших дней

Именно этому посвящена цифра «2» в правиле 3-2-1 :) Минимум на двух разных форматах носителей. В моём случае — это HDD и облако. Кстати, архив начинался на IDE, а сейчас мне даже такой привод воткнуть некуда, всюду только SATA. Однако, архив этого не заметил :) Кстати, к вопросам о негодности syncthing-подхода для бэкапов — если бы у меня были простые бэкапы на IDE, сейчас я бы не знал, что с ними делать.

И не забывай про развитие технологий. Какой-нибудь бекап дырочек на перфолентах и перфокартах теоретически мог сохраниться с 60 годов до наших дней

Именно этому посвящена цифра «2» в правиле 3-2-1 :) Минимум на двух разных форматах носителей.

Боюсь, что даже правило 3-3-1 для промежутков времени в десятки лет не обеспечит высокой надёжности, т. к. абсолютно все существующие современные интерфейсы к тому времени с высокой вероятностью могут безнадёжно устареть, а существующие облака исчезнуть, заменившись новыми облаками.

Кстати, архив начинался на IDE, а сейчас мне даже такой привод воткнуть некуда, всюду только SATA. Однако, архив этого не заметил :)

Это потому что ты за ним следишь. А если бы у тебя просто валялся где-нибудь в ящике ide-шный диск с конца 90-х, и только сейчас ты бы вспомнил про него и решил восстановить, то ещё как заметил бы. :-) А вот простые фотокарточки запросто могут валяться в столе. Более того, чем меньше их извлекают на дневной свет и трогают, тем лучше сохранность.

если бы у меня были простые бэкапы на IDE, сейчас я бы не знал, что с ними делать.

Ну, некоторые трудности были бы, но пока что не непреодолимые. Переходники на ide всё ещё можно найти. См., например, https://fastbox.su/adapter-przej-ci-wka-sata-ata-ide-66-100-133-item-i6448276... или https://ru.aliexpress.com/item/E-yield-USB-3-0-to-SATA-IDE-ATA-Data-Adapter-3... .

Ну, некоторые трудности были бы, но пока что не непреодолимые. Переходники на ide всё ещё можно найти.

Да это-то понятно. У меня даже где-то валяются в ящиках стола USB-IDE адаптеры :D И даже USB-FDD на 3.5" взял не так давно, чтобы проверить/переписать архивы из 1990-х. Правда, тут нарвался на то, что у меня большинство дискет писалось с нестандартным числом дорожек/секторов и пока не могу подобрать настройки драйвера, но глубоко не зарывался. Скорее всего, ничего ценного на дискетах нет, ценное я переносил на винты и оно дожило до этих времён. Но интересно посмотреть, чем я жил без малого 25 лет назад :D

Вот с чем облом, так это с кучей 5.25" дискет. Под них USB-дисководов нет :D А на них что-то интересное может быть с бОльшей вероятностью…

такто были usb-fdd конверторы (видел когда-то где-то продавались в тырнете).
интересовался когда наша доблестная налоговая принимала дискетка-онли отчеты, а также ключики кто-то раздавал. а компы уже были практически без флоповодов.

Человек дело говорит. Несколько источников в разных местах: облака, hdd, да хоть и на болванки никто не мешает. У меня одна копия на рабочем компе, другая на ноуте, третья на работе, четвёртая в NAS в рейде 1. И наконец в никакущем но халявном облаке мэйл.ру на 1 Tb. А и забыл, к NASу ещё портативный HDD прицеплен. Туда тоже периодически бэкапы сливаются.

Никто не спорит, такой подход правильный. Я говорил всего лишь о том, что это оверхед для меня лично.

Коллекция порно переживет эпохи

У нас уже есть огромный распределённый бекап порно - называется «Интернет».

В бинарном коде на граните

raid, ленты

USB-FDD на 3.5" взял не так давно, чтобы проверить/переписать архивы из 1990-х. Правда, тут нарвался на то, что у меня большинство дискет писалось с нестандартным числом дорожек/секторов и пока не могу подобрать настройки драйвера, но глубоко не зарывался.

Если верить этому каменту из новости Вышел X-CD-Roast 1.19, то тут проблема именно в usb-дисководах. Надо покупать обычный старый добрый флоппик и как-то подключать его. Может вместе с древним компом. Но сам я не проверял, так что достоверность информации на совести lenin386.

Вот с чем облом, так это с кучей 5.25" дискет. Под них USB-дисководов нет :D А на них что-то интересное может быть с бОльшей вероятностью…

Для интереса загуглил и кое-что нашёл на британской и украинской барахолках (это за 5 минут):

https://www.ebay.co.uk/itm/Year-P-N-Corp-DS-53A-13-3CM-5-25-Fdd-Floppy-Drive-...

https://www.olx.ua/obyavlenie/diskovod-1-2mb-floppy-disk-drive-fdd-5-25-IDuny...

По второй, украинской, ссылке, дисковод, правда, неисправный. Но я подозреваю, что все старые дисководы (хоть 3", хоть 5") неисправны, потому что, насколько мне известно, если его несколько лет не использовать, он засоряется и перестаёт читать и писать и даже портит дискеты. Но засорившийся дисковод можно почистить (лучше это сделать до того, как засовывать туда дискету, особенно дискету 5.25, не имеющую, насколько я помню, защиты от записи).

магнитные поля

Запили фарадееву клеть.

и тд

Что?

Сам храню всё на внешнем винте, а самое важное в облаках, не считаю нужным заморачиваться сильнее.

магнитные поля

Запили фарадееву клеть.

Не, фарадеева клетка от эм волн, а от статического поля — ферромагнитный экран.

BD-R, DVD.

Дискеты, перфокарты.

На болванке.

У меня есть архивы на дискетках.

Потом пьяный электрик подаст 380В и привет.

УЗМ-51М тебе в помощь.

Какой именно?

ZFS zmirror позволяет наращивать как количество зеркальных сборок, так и количество зеркал внутри сборки и все в одном пуле

можно и несколько пулов

очень удобно

pool1

mirror1

dev1

dev2

mirror2 dev3

dev4 dev5

Можно добавлять/заменять dev Добавлять новые mirror и это все с сохранием пула, сказка

Резервные копии нужно хранить поближе к серверу, в идеале (если денег на это дадут, а на ТАКОЕ не дадут) — в оперативной памяти, чтобы быстрее восстанавливаться.

Быстрее всего с твоих резервных копий восстанавливаться после пропадания питания на 1-2 часа. После этого у тебя останутся только неоперативные архивные наверняка очень старые.

Вот ржака была бы если бы транзакционные логи СУБД хранились в оперативе (не ZeusRAM, нет).

восковых дощечках

УЗМ-51М тебе в помощь.

Может не успеть, надо электронное на тиристорах и землить, там много всего надо может на несколько сотен тыр выйти для надежного варианта

Потом пьяный электрик подаст 380В и привет
там много всего надо может на несколько сотен тыр выйти для надежного варианта

Я тут подумал. БП же может работать от 110В. В сети обычно 240В. Ставишь перед БП понижающий в 2x трансформатор (240>120) и будет работать, дешево и сердито. Если электрик подаст 380В, то на БП пойдет 190В, что тоже норм. Главное чтобы выдержал трансформатор, они обычно рассчитаны на 220В, но можно подыскать подходящий.

Можно запилить простенькую схемку обесточивания для такого варианта, трансформатор в любом случае сразу не сгорит.