Где хранить данные? HDD - самый надежный носитель?

Хранилище хранит данные, пока оно «живет» - проверяется, заменяются сбойные носители итд.

Холодное хранение - недостижимая мечта. Если только не кристаллы с голограммой внутри, или «металлическая библиотека».

монстра на 8ТB

Какой же это монстр. В рознице уже 4 месяца доступны 24 TB от Seagate и 3 месяца от WD.

и хранить там данные 20+лет?

Поздно. Надо было участвовать в Archive Program Initiatives.

Ни один носитель не является надёжным. Самый надёжный из ненадёжных — бумага в предназначенном для её хранения архиве.

Секрет надёжного хранения — в многократном дублировании на носители разных типов, находящихся в разных местах. Например одна копия лежит в NAS, естественно с каким либо raid, вторая на внешнем носителе, ssd или флешке (в идеале носитель выносится из здания после синхронизации или хранится в огнеупорном сейфе), третья копия выгружается в «холодное» облако.

Суть в том что вероятность одновременной потери всех трёх копий близка к нулю. И любой из носителей можно заменить (в том числе поставщика облачного хранилища), что снижает требования к их надёжности и не вызовет катастрофу.

Используйте LVM и ваши волосы будут мягкими и шелковистыми

Насколько помню, выше 14TB - гелий.

RAID наше всё

Это не про надежность, а про бесперебойность работы. Делайте бекапы.

Даже ssd с буфером снижают скорость, а флешка нет… WTF?

Забивать их полностью нельзя, это сильно снижает скорость. У HDD то же самое, пусть и по другим причинам. Я обычно забиваю SSD не более чем на 50 процентов, это позволяет SSD не снижать скорость.

Наверно только серверные варианты

Не совсем. Серверные варианты используют память с большим числом перезаписей. Это не про скорость, а больше про надежность. Чтобы БД могли насиловать SSD круглосуточно. Если обычный SSD там использовать, то он сдохнет в муках очень быстро, а серверные будут бодрячком.

Без гелия удалось ещё впихнуть 10 TB. Т.е. начиная с 12 TB уже гелий и 7200 об/мин.

Суть в том что вероятность одновременной потери всех трёх копий близка к нулю.

Да не скажите…! А как в кино после какой-нибудь вспышки (к примеру) на солнце или сильной магнитной бури выходит абсолютно вся техника на Земле…? =)

Самый надёжный - это CD/DVD-болванка, но по скорости, да, HDD равных нет.

погуглил: камни и пергамент хранятся достаточно долго (от нескольких сотен лет, до тысячелетий). Всё остальное новомодное и не надежное.

Сомневаюсь, что это реально реализовать хоть на чём-то. Только ленты дают гарантию для подобных сроков, но их хранить надо не как попало, а в определённом температурном и влажностном режиме. Ни HDD, ни SSD, ни CD не гарантируют таких сроков.

Наверное самый доступный вариант это хранить в 2-3 разных облачных хранилищах. За 20 лет ни гугл, ни амазон не сдохнут.

А как в кино после какой-нибудь вспышки (к примеру) на солнце или сильной магнитной бури выходит абсолютно вся техника на Земле…? =)

В последующем апокалипсисе потерянные бэкапы будут наименьшей из проблем.

который можно использовать в качестве переходного хранилища

20+лет

Что-то разные задачи.

Хочешь большую флешку: usb3->nvme + дорогой диск

Хочешь большое хранилище на десятилетия. Строй систему в которой можно будет менять железо. Много памяти(32, 64, … ГБ), несколько hdd для резервирования, ssd для кеша. LVM вполне помогает тратить в оффлайне только время на смену железе. Резервирование, бекапы, перенос с диска на диск, изменение размера тома - будут выполняться в фоне.

M-DISC гарантирует вроде как до 100 лет. но цена не понравится, да…

Найти самый надежный накопитель.

теснение на мраморных плитах

внедрение в твой продвинутый манифест флешек и ссд уже намекает на ограниченность познаний.
они аккурат на длительное хранение не рассчитывались… :)

после 50+ часов работы внешний hdd на 2TB начал портить файлы (проверка викторией не выявила никаких аномалий, после перезаписи всего объема нулями всё стало нормально

Диск был SMR?

самый главная проблема с М-ДИСК его жуткая не распространенность :)

Найти самый надежный накопитель.

Географически распределённое зеркалирование на HDD.

Найти быстрый накопитель со стабильной скоростью, который можно использовать в качестве переходного хранилища (когда нужно скинуть много данных за минимальное время).

Самое быстрое - серверная материнка в кучей оперативной памяти и бесперебойником. Лучше тоже две зеркалированные, а то кроме пропадания электричества могут и другие причины сбоя быть.

Наверно, я коряво написал. 20 лет хранить на надежном носителе, но периодически скидывать новые данные на быстрый (временный) накопитель с целью переноса или того же копирования на надежный носитель.

Просто не всегда есть возможность ждать пока копируется 500 гигов сразу в надежное хранилище. А так скинул, условно говоря, в «быстрый кеш», а потом, в свободное время, копируешь себе терабайты в медленный носитель. Я исхожу из того, что надежный - априори медленный. Тем более если это оптические диски, как вариант.

Опять же, скоростной носитель в качестве временного)

Найти самый надежный накопитель.

RAID1 из HDD + бэкап на RAID1 на HDD на отдельной машине под собственным управлением в другом здании. Это именно самый надёжный вариант (можно добавить доп. бэкапы, но в целом это излишне). Он достаточно трудно достижим, поэтому дальше выбираются компромиссы: например бэкап на отдельной машине, но всё же в том же здании, и т.д.

Это если брать всё же в контексте и адекватное пресуппозициям, конечно. Можно пойти дальше и сказать, что самый надёжный накопитель — это выбивать буковками в камне. Можно сразу в пещере, чтоб не разбить и не потерять. Если данные бинарные, то в Base64 перевести. Надёжнее некуда. Да, звучит несколько абсурдно. Но это наглядно иллюстрирует, что всегда есть компромисс между надёжностью, скоростью, удобством использования. И возможно, что вам нужен не максимально надёжный, а достаточно надёжный, при соблюдении остальных требований.

Найти быстрый накопитель со стабильной скоростью, который можно использовать в качестве переходного хранилища (когда нужно скинуть много данных за минимальное время).

RAM. Но понимаю, что не годится. Тогда RAID0 из NVMe SSD. Даже из двух хватит всем. Можно больше.

или же можно взять монстра на 8ТB

Вы опоздали лет на 10. 8 TB это где-то около минимально адекватного объёма по цене, а не монстр.

О поиске скорости… по моему опыту всё дешевые ssd медленней, чем sd флешка за те же деньги (1500-2000 т. р.). Плюс у ssd падает скорость, порой до нуля. Даже ssd с буфером снижают скорость, а флешка нет… WTF? Наверно только серверные варианты могут стабильно на весь объем держать хотя бы 300 мегабайт \ с?

Похоже, у вас что-то не так с софтовой частью, либо вы забиваете SSD на 100%, либо fstrim не делается. По моему опыту все, даже самые дешёвые SSD быстрее, чем флешка. И скорость до нуля, да и даже до уровня HDD там не падает.

1. почему бы не винил
2. Eternal 5D – расчётный срок составляет несколько миллиардов лет.

Покупал я его давно. Тогда вроде еще не было черепичной записи. Модель: WDC WD20NMVW-11AV3S2. Работает до сих пор. 58 т. часов.

А вот новый, который я по незнанию купил - 4TB, уже SMR точно, виктория тоже показывает SMR. Очень долго я копировал на него данные с 2TB диска. Модель: TOSHIBA MQ04UBB400.

Странно, такая непонятная порча данных наводит на мысли разве что о програмном баге реализации размещения логических секторов по физическим, а у не-SMR дисков этой сущности вообще почти нет (кроме немного reallocated). Может это баг в файловой системе был вообще?

https://nascompares.com/answer/list-of-wd-cmr-and-smr-hard-drives-hdd/ тут (в таблице) написано что он SMR.

теснение на мраморных плитах

Скажите, пожалуйста, отчего это у моей жены в груди бывает теснение? А. П. Чехов, «Ночь перед судом», 1890—1900 г.

тут да, думаю «скоростной» и «долгохранящий инфу» будут в противовесе.

я б посоветовал писать на 2 DVD, с наличием par2 файлов. один из двд использовать для снятия инфы а второй держать в «холоде». и перезаписывать каждые пять лет на новый двд. поставил два двдвшника на комп, прогнал исходный двдв на тест чтения если все ок, то поставил копирование двдвшников и занимаешься своим делом. протестировал после записи на качество записи и отправил в холод. старый не выкидывать а приложить рядом. даже после разрушения слоя, вполне возможно получиться выдернуть с него информацию. это все про холодное хранилище.

а для скорости иметь «горячую» копию на NAS.

Может это баг в файловой системе был вообще?

Может. Я так и не понял, что собственно вызвало такие глюки. Хотя подумал на то время, что может что-то с магнитным слоем могло стать? По крайней мере я где-то читал, что по прошествии лет такое может быть…

Но, опять же, после записи нулей с проверкой - всё нормально и до сих пор работает стабильно. Так что либо программный баг, либо железо постарело где-то.

Толку от lvm на полудохлом носителе.

погуглил: камни и пергамент хранятся достаточно долго (от нескольких сотен лет, до тысячелетий). Всё остальное новомодное и не надежное.

Камни быстро засираются, пергамент рвётся и тускнеет. Почему бы не гравировка на золотых пластинках, например? Их можно считать долговечными, несмотря на высокую стоимость и доступность для широкого использования. Хотя оно тоже подвержено царапинам, что может повлиять на читаемость гравировки со временем.

И возможно, что вам нужен не максимально надёжный, а достаточно надёжный, при соблюдении остальных требований.

Думаю, да.

Тогда RAID0 Я тоже всё время думаю про него. Ибо ничего быстрей для обычного пользователя вроде пока нет. Кроме RAM и VRAM. Вы опоздали лет на 10. 8 TB это где-то около минимально адекватного объёма по цене, а не монстр.

Есть и 24TB, но нужны ли они, если в них гелий или того хуже SMR? Тут в принципе всегда соотношение деньги \ объем важно, иначе можно просто арендовать облако навечно, если деньги сыпятся с неба. В это плане HDD впереди планеты всей.

Похоже, у вас что-то не так с софтовой частью, либо вы забиваете SSD на 100%, либо fstrim не делается. По моему опыту все, даже самые дешёвые SSD быстрее, чем флешка. И скорость до нуля, да и даже до уровня HDD там не падает.

Cкорее всего проблемы с trim, да. До конца никогда не забиваю. Дешевый SSD действительно быстрее, но только до переполнения кеша. Чаще всего вижу падения до нуля, когда копирую кучу мелких файлов (например, профиль с браузера).

Нормальная флешка с UHS-картридером выдает 100+ МБ на весь объем стабильно. Я видел Kingston DC500R, который стабильно выдавал 400 МБ\с на весь объем, его ценник тогда был в районе 8 тысяч. Даже интеловские списанные диски дают только 200.

тут (в таблице) написано что он SMR.

Ну вот, возможно, из-за этого. Хотя, он все равно ведет себя лучше, чем 4TB тошиба. Скорости стабильней и нет провалов.

К слову, у меня когда-то был терабайтный HDD сигейт. У него был параметр смарт с количеством записанных данных. Насколько помню, он стал трещать когда было записано порядка 80TB.

Сталкивались с такими HDD?

Ну и бекап как раз и нужен, когда поплохело хранилищу (будь, то один ЖД и raid6)

А когда надо будет расширить через пару лет, добавив ещё диск? С LVM просто подключаем диск и при рабочем разделе расширяем его.

А когда надо будет перенести активные данные с одного райда на другой, без отключения доступа к ним? С LVM аналогично подключили диски включились и переносим при рабочем разделе.

И любой из носителей можно заменить (в том числе поставщика облачного хранилища)

Масштабируемость всегда требует надежного интернет-соединения и доверия к провайдеру облачных услуг. Это точно можно считать надёжным хранением данных?

Изобретатель M-DISC обанкротился в 2016 году. Доверять подобной технологии я бы не стал. Ленты это проверенная и распространённая технология. Правда дорогая, если не брать б/у.

Я не спорю, что LVM офигенен, в плане удобства работы на лету. У ТСа вопрос уровнем ниже, до LVM.

Есть и 24TB, но нужны ли они, если в них гелий или того хуже SMR?

Они честные, без SMR (хотя WD внедрили с 20 TB немного флеша).

А SMR уже на 28 TB, только он стал эффективнее, host-managed, но из-за значительной опасности потерять данные перестал быть доступен обычным покупателям.

ТС хочет место хранения на 20+ лет. А значит надо будет добавлять/заменять диски. LVM делает это проще, при минимальных затратах.

И провайдера интернет-соединения, и провайдера облачных услуг можно сменить, а доверять им стоит строго в рамках условий подписанного договора. При наличии ещё двух копий, в NAS и чём нибудь внешнем, даже внезапное исчезновение у поставщика услуг облака становится не очень страшным. Заключаем договор с конкурентом, заливаем бэкап туда, в холод, а с предыдущим поставщиком судимся.

Ленты надо обслуживать, периодически перематывать и перезаписывать, кроме того нужно поддерживать микроклимат. В хранилищах этим занимаются библиотечные роботы. Уже лет много как для большинства бизнеса и тем более для физического лица ленты это оверкилл. Реально большинство сохранялось на болванки (на качественные ессно), потом перешли на hdd в сейфах. Собсно и сейчас так, только к hdd в сейфе добавилось «холодное» облако. А вот там «холод» уже может храниться на лентах в роботизированном хранилище.

Камни быстро засираются, пергамент рвётся и тускнеет.

На камнях обычно высекают что то гордое и монументальное. И обязательно наступает период когда «гордое и монументальное» разбивают очередные завоеватели, или скалывают чтобы высечь что то своё, не менее гордое и монументальное. А иногда население настолько радикально меняется и дичает что перестаёт понимать что там написано, точнее ему становится плевать и размазать. Тогда из камней строят фундамент дома например. С пергаментом и папирусом та же ерунда. Египетские папирусы времён фараонов использовали в качестве дранки под штукатурку, собственно поэтому они и сохранились, а пергамент во первых дорогой, поэтому использовался много раз, скоблился и перезаписывался уже другими истинами и откровениями, а во вторых хранился крайне плохо, с учётом его многократного скобления.

Исторически дольше и лучше всего сохранились бумага и папирусы с бухгалтерией и долговыми расписками. Потому что сначала их берегли, так как они были важны, а потом, спустя столетия, они были никому не интересны, поэтому их не трогали и не сжигали.

Почему бы не гравировка на золотых пластинках, например?

Потому что обязательно наступит момент когда люди перестанут понимать что это за каракули и переплавят эти пластинки во что нибудь красивое, что можно бабе подарить, чтобы дала.

Твой пост намекает что ты невдуплил в то что я писал. Это бывает. Я поясню, на пальцах. При наличии НЕСКОЛЬКИХ копий на РАЗНЫХ носителях в РАЗНЫХ местах нас перестаёт парить надёжность отдельно взятого носителя. Носитель накрылся — пишем акт списания, закупаем новый, записываем на него копию с другого места хранения. С того же NAS или с «холода» достаём.

По моему опыту все, даже самые дешёвые SSD быстрее, чем флешка. И скорость до нуля, да и даже до уровня HDD там не падает.

Ну нет, на именно дешевых ссд запросто можно получить что-то около 20-30мбайт/с, в то время как скорость hdd последних 20 лет - около 100мбайт/с (ну, самые медленные из старых - от 60, а топовые - 150).

либо вы забиваете SSD на 100%,

Думаю это как раз особенность дешёвых, что их можно забить на 100%, а по-нормальному физический объём должен быть больше логического, чтоб этими деталями работы (включая трим) потребителей не напрягать.

20 лет хранить на надежном носителе

Вчера на улице ко мне подошла старуха и предложила купить вечную иглу для примуса. Вы знаете, Адам, я не купил. Мне не нужна вечная игла, я не хочу жить вечно.

Ильф и Петров, Золотой телёнок.

lvm устраивает кашу, в которой непонятно где что физически расположено. Что за мания все имеющиеся носители в одну большую помойку объединять? Для замены дисков есть миррор, а для добавления вообще ничего кроме свободных sata-портов не нужно.

20 лет это совсем не «вечное». Данные вполне могут быть актуальными. Некоторые вот спустя больше 50 лет только секретность снимают с архивов.

Ну нет, на именно дешевых ссд запросто можно получить что-то около 20-30мбайт/с, в то время как скорость hdd последних 20 лет - около 100мбайт/с (ну, самые медленные из старых - от 60, а топовые - 150).

Может мне просто везло, но у меня до 20-30 никогда скорость не опускалась. До 250 минимум, даже на самых дешёвых. Но это при оставлении хотя бы 15% свободными и использовании настроенном trim.

Думаю это как раз особенность дешёвых, что их можно забить на 100%, а по-нормальному физический объём должен быть больше логического, чтоб этими деталями работы (включая трим) потребителей не напрягать.

Это да, вполне возможно. Впрочем, думаю, что разница не только в этом.

Ну, дискуссионная вещь.
Жить вечно не хотят те, кто думает, что за чертой что-то есть. Ну или инстинкта самосохранения нет, тоже вариант. Или?

Даже придумали всякие эффекты,чтоб только не признавать факт дырявой человеческой памяти или же просто в силу того, что каждый ограничен своим природным железом. Этакие баги аналога.

Я немного с другого полюса. Для меня вечная жизнь не является скучной. «Скучно быть мертвым».