LINUX.ORG.RU

Где хранить данные? HDD - самый надежный носитель?

 , ,


1

4

Здорова, знатоки. У меня есть две задачи.

  1. Найти самый надежный накопитель.
  2. Найти быстрый накопитель со стабильной скоростью, который можно использовать в качестве переходного хранилища (когда нужно скинуть много данных за минимальное время).

Кто что думает о разных реализациях памяти? RAID наше всё или же можно взять монстра на 8ТB и хранить там данные 20+лет?))

О хранении… у меня был такой случай: после 50+ часов работы внешний hdd на 2TB начал портить файлы (проверка викторией не выявила никаких аномалий, после перезаписи всего объема нулями всё стало нормально). С другой стороны, hdd - самая дешевая память с точки зрения цена \ объём.

О поиске скорости… по моему опыту всё дешевые ssd медленней, чем sd флешка за те же деньги (1500-2000 т. р.). Плюс у ssd падает скорость, порой до нуля. Даже ssd с буфером снижают скорость, а флешка нет… WTF? Наверно только серверные варианты могут стабильно на весь объем держать хотя бы 300 мегабайт \ с?

В общем, буду рад почитать кто чем пользуется и почему.



Последнее исправление: Reptile (всего исправлений: 1)
Ответ на: комментарий от Jameson

я прекрасно вдуплил что чем больше раз ты делаешь бекап, чем счастливее твоя попа, и без разницы куда хоть на салфетки :) и с правилом 3-2-1 отлично знаком.
но даже в этом случае использовать ssd для длительного хранения данных в холоде…. они давно уже даже не SLC… не надор вспоминать ssd таком контексте, не ихнее дело енто.

pfg ★★★★★
()
Ответ на: комментарий от pfg

Согласен тащемто. Лучшие бэкаповеды рекомендуют hdd без гелия. А вот SMR или CMR — абсолютно не важно для лежащего на полке винта, как и скорости его записи и чтения. Гораздо важнее чтобы он лёжа на полочке в тыкву не превратился со временем.

Jameson ★★★★★
()
Ответ на: комментарий от firkax

Почти уверен, как тут и говорят, проблема с trim. Плюс, рекомендуется резервировать свободное неразмеченное пространство. На некоторых моделях уже есть зарезервированное.
Нищебродские, где скорость кончается с кэшем не рассматриваем.

madcore ★★★★★
()

Лень скроллить.. ленточную библиотеку уже предложил кто-то или нет? )

Но это всё не отменяет ротаций, проверок на считываемость и прочих регламентов )

А ты думал, в сказку попал? )

А быстрый буфер на SSD/sas дисках. Деньги-то у тебя есть? 😜

aol ★★★★★
()
Ответ на: комментарий от Jameson

на время сохранения информации больше влияет размер магнитного домена - чем он больше, тем дольше сохраняется намагниченность, зависимость линейная. в smr размер меньше потому и время будет меньше.
но все времена полностью решает регламент обновления бекапов.

вот влияние гелия на деградацию магнитного домена для сильный вопрос :) хз, думаю что влияния нет, но спорить не буду, не читал тех.описание данной техънологии.

pfg ★★★★★
()

Найти самый надежный накопитель.

Бумага. Тысячу лет может пролежать при правильном хранении.

Найти быстрый накопитель со стабильной скоростью, который можно использовать в качестве переходного хранилища (когда нужно скинуть много данных за минимальное время).

Принтер.

Vilicus
()

самый надежный накопитель

Магнитная лента.

быстрый накопитель со стабильной скоростью

NVMe.

можно взять монстра на 8ТB и хранить там данные 20+лет?

Это как повезёт. Дешманский нонейм из подвала может прожить десятки лет, а может проверенный брендовый сдохнуть через месяц. Зависит от погоды на Марсе. Так что да,

RAID наше всё

mord0d ★★★★★
()

Ладно, значит, бобины, LTO, магнитная лента либо бумага? В таком случае возникает резонный вопрос - получается, что магнитная лента размагничивается медленней, чем HDD? В принципе, интересно почитать о возможных подводных камнях, то бишь о том, как деградируют разные источники и насколько быстро.

И ещё один вопрос - где покупать стример и ленты? Кстати, о магнитных лентах что-то совсем не говорили, когда я в своё время искал информацию о надежности разных носителей, спасибо за наводку, братаны)

Reptile
() автор топика
Последнее исправление: Reptile (всего исправлений: 2)
Ответ на: комментарий от Reptile

Про ленты я с анонима писал. У них срок жизни от 10 до 50 лет, у HDD 5-10. Но тут учитывается запись 24/7, правда и сверх максимального срока они недолго проживут. Магнитная пленка то еще дерьмо, кстати, она света «боится», ну он как бы электро-магнитное излучение… Самый лучший носитель - это ДНК. Она хранится тысячи лет, правда, при невысоких температурах, но это на пару порядков дольше чем говно-ssd

rtxtxtrx ★★
()
Ответ на: комментарий от vbr

ну так-то и optane забросили, и совсем не потому, что были проблемы с надежностью (ЕМНИП до дыр его никто не осилил затереть)…

потому это ни о чем не говорит, кроме факта что спрос оказался сильно ниже прогнозируемого. в отличие от QLC…

NiTr0 ★★★★★
()
Ответ на: комментарий от NiTr0

Я ничего против м-диск не имею, но для практического применения лучше, чтобы технология была жива. По всему миру искать какие-то складские остатки что-ли? Вон погуглил - verbatim типа производят такие диски, но юзеры пишут, что в последние годы они под этим брендом обычные диски кладут. Запишешь на них, а через 20 лет ничего не прочитаешь.

vbr ★★★★★
()

Относительно небольшие диски (6tb например) в raidz2.

LTO последних стандартов давно уже не 50 лет, максимум 30 при соблюдении влажности, отсутствия солнечного света, температуры (ну т.е. специального помещения для лент) и малого количества перемоток ленты.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 1)
Ответ на: комментарий от pfg

А там тоже вроде можно резервировать место в рамках самого диска под данные для избыточной коррекции. Не обязательно их на отдельный диск скидывать. Две копии диска с коррекцией = две копии и данных, и кодов. Н ­— надёжность!

Smacker ★★★★★
()
7 сентября 2024 г.

Найти самый надежный накопитель.

Самый надёжный – это несколько накопителей. Желательно разного типа (например, HDD, SSD и облако, последнее, естественно, для данных, которые ты считаешь допустимым хранить в облаке).

hobbit ★★★★★
()

по моему опыту всё дешевые ssd медленней, чем sd флешка за те же деньги (1500-2000 т. р.).

а покажи флешку, которая не всем объеме держит скорость записи хотябы 50 мбайт в сек ?

дешевый ssd это может

x905 ★★★★★
()
23 декабря 2024 г.

Самый надежный носитель это оптические диски, с огромным отрывом от всего остального. Второе место, с большим отставанием это LTO, магнитная лента. Ну а третьего места здесь просто нет, все остальное ламерские носители и не используется в профессиональном длительном хранении архивов.

Teac
()
Ответ на: комментарий от Teac

ты про долгоживущий оптический диск это про M-disc наверн ??
так-то фоток оптических дисков с развалившимся лаковым слоем и в тырнетке найти можно :)
опять же почему магнитная лента на втором месте ?? для онно ленточки производители аккурат дают гарантированное время сохранения информации.
а вот двдшников с четкой прописанной длительностью сохранности данных я ни одного не видел. хотя в свое время ковырял интернетик в поисках лучшего средства длительного холодного хранения данных.

чем смогешь подтвердить свое изречение ??

pfg ★★★★★
()

Вот, кстати, недавно статья была в тему: https://www.fastmail.com/blog/why-we-use-our-own-hardware/

At this rate, we’ll replace these drives due to increased drive sizes, or entirely new physical drive formats (such E3.S which appears to finally be gaining traction) long before they get close to their rated write capacity.

We’ve also anecdotally found SSDs just to be much more reliable compared to HDDs for us. Although we’ve only ever used datacenter class SSDs and HDDs failures and replacements every few weeks were a regular occurrence on the old fleet of servers. Over the last 3+ years, we’ve only seen a couple of SSD failures in total across the entire upgraded fleet of servers. This is easily less than one tenth the failure rate we used to have with HDDs.

При таком темпе мы заменим эти диски из-за увеличения их размеров или совершенно новых физических форматов (например, E3.S, который, похоже, наконец-то набирает обороты) задолго до того, как они достигнут номинальной емкости записи.

Кроме того, мы анекдотически убедились, что SSD гораздо надежнее жестких дисков. Хотя мы всегда использовали только SSD класса для дата-центров, на старых серверах сбои и замена жестких дисков каждые несколько недель были обычным явлением. За последние 3 с лишним года мы наблюдали всего пару отказов SSD во всем обновленном парке серверов. Это меньше одной десятой процента отказов жестких дисков.

Переведено с помощью DeepL.com (бесплатная версия)

vbr ★★★★★
()
Ответ на: комментарий от pfg

Нет, я не про MDISC, MDISC это всего навсего один из видов архивных оптических дисков, а их несколько. Но даже если брать самые дешевые и простые там не бывает никаких отвалившихся лаков и защитных покрытий, если их хранить в маломальски правильных условиях, про какие то леваковые сущесвтвовавшие в 2000ых думаб упоминать не стоит. Лента по долговечности уступает средним оптическим дискам, и нет для нее никаких гарантий сохранности информации, производитель не отвечает за условиях хранения носителя. Любой маломальски качесвтенный HTL блюрей это минимум в два раза долговечнее ленты.

Teac
()
Ответ на: комментарий от vbr

failures and replacements every few weeks were a regular occurrence on the old fleet of servers.

Интересно, сколько было винчестеров. Ведь при 2 млн часов MTBF в очень хороших условиях эксплуатации уже при наличии 4000 хардов замена каждые 3 недели - это ожидаемо.

gag ★★★★★
()
Ответ на: комментарий от Teac

чет у вас со шрифтами проблема :)
ну тут с вами согласен , M-Disc это не один из видов оптич.дисков а серьезная переработка структуры и материалов. с каким-то военным сертификатом, подтверждающих длительность жизни данного вида оптического диска. и т.д.

пруфы в студию !! хотя б какойнить документик в котором есть гарантия сохранности данных на оптическом диске в течении ну к примеру 50 лет. ленточки на 20 лет гарантированной сохранности данных попадались.

pfg ★★★★★
()

HDD - самый надежный носитель?

ага, в один прекрасный день под звук дрыканья головок и попыток раскрутки узнаешь насколько

20+лет будет достаточно, возможно меньше

anonymous
()
Ответ на: комментарий от pfg

первая попавшаяся под руки ленточка имеет в спецификации прямо прописанную строчку
https://static.chipdip.ru/lib/300/DOC033300839.pdf
Archival life 30 years
HPE warrants LTO Ultrim cartridges for up to 30 years archival life.
эт вам не в форум изливать мысли.

pfg ★★★★★
()

Скорость работы не коррелирует с надёжностью. Поэтому я особо ценные данные лью на CD/DVD. А так, да, HDD надёжней, чем эти ваши SSD etc.

sparkie ★★★★★
()
Ответ на: комментарий от LongLiveUbuntu

Во-первых — нет, не читается и не анализируется. Это никому не надо. За исключением автоматического поиска детской порнографии, но это уже требование закона.

Во-вторых шифрование к бэкапу прикручивается тривиально и это разумно сделать в любом случае.

vbr ★★★★★
()
Ответ на: комментарий от vbr

Это никому не надо

А как тебе, дураку, рекламу подсовывать? И да, читается и аализируется. И таки надо. Попробуй в организации с Первым отделом что-то в облако залить на хранение.

LongLiveUbuntu ★★★★★
()