Философский вопрос о ХОЛОДНОМ хранении данных

ХОЛОДНОГО

https://archiveprogram.github.com/arctic-vault/

Не локально, ёблако.

S3 glacier?

Короче если к этому нельзя получить физический доступ в течнии 5 минут в любое время и без участия/контроля/присутствия других людей то это не локально.

все что угодно + wake on lan?

Итак допустим есть некие полезные данные в большом (по сегодняшним меркам) объеме допустим >1TB но <100TB.

По сегодняшним меркам это весьма небольшой объём данных, у многих дома на NAS больше сильно больше.

Если бы был большой объём, подошла бы плёнка. А так, видимо просто HDD в NAS и не париться. Солучить и скорость развёртывания и «на горячую» чисто бонусом. Даже если они не нужны, они не помешают.

wake on lan

А зачем лан то? Идея то как у дивидюка - не потреблять электричество не занимать место, не боятся например падений как жесткий и быть при этом дешевым (ну относительно).

Прикрутить нас болтами к полу и так же сидеть и не бояться падений)

просто HDD в NAS и не париться

НА моих глазах было 2 примера

1. Жесткий диск который лежит на полочке в таком вот режиме как я описал выше. Никаких сбоев никаких бэдов, вся инфа на месте изредко подключается в хотсвап гнездо.
2. 2 диска которые пустыми крутилися в насе в режиме рейда все это же время. Уже появились offline uncorrectible. Не говоря уж о мегаваттах сожранного конкретно им электричества за все время (благо плаченого не мной). Шанс на падение увеличивается просто от включенности, от вибрации вентиляторов рядом.
3. баловство описаное в пункте 2 имело объем жалких 8 ТБ ибо наиболее приемлемым по цене за гиг на момент сбора был все тот же 1ТБ (Ну да я имел в виду объем больше 1 но меньше 100, не значит что всего 1 или 2)

Тогда зачем он НАС? Зачем сеть зачем включенность, зачем занятие места корпусом помимо самих дисков?

допустим >1TB но <100TB

Шедевральный разброс, то ли microsd-карточка, то ли дюжина HDD, то ли ленты.

НА моих глазах было 2 примера

Дальше читать смысла нет, это не просто недостаточная, а прямо таки смешная выборка.

Вариантов нет. Почти всем условиям удовлетворяет 3 варианта:

• Обычно выключенный нас
• Обычно включенный нас
• Собственная разработка, например, сделать ленточный стример из магнитофона.

Почему бы просто не купить «защищенный от ударов hdd» типа такого: https://www.dns-shop.ru/product/6dfb9b6e7c9630b1/1-tb-vnesnij-hdd-silicon-power-armor-a15-sp010tbphda15s3k/

И копировать на него, то что тебе нужно? можно rsync

можно хоть git-ом xDDDD

Удобственность доступа, согласно п.3 твоих требований.

Файл может раз в год понадобиться, но хорошо же если найти\вытащить его будет максимально безгеморно, верно?

Тема интересная, так, чисто прикинув, думаю нас будет надежнее дисков на полке\съемных дисков\сд-двд-бд. Будучи выключенным диски (и другое железо) лишний раз не гоняешь, при этом дежурное питание есть + можно настроить там всякое. Например включение по расписанию и проверку целостности фс\отдельных файлов.

Вообще с выключенной по умолчанию файлопомойкой интересная идея, утащил.

ленточный стример из магнитофона

Это кстати было в свое время, на сейчас объемы никакие но сама ИДЕЯ вот примерно то что надо. Ленточные стримеры гораздо ближе чем нас но их цена (и самих кассет) огромная. А нет ли чего то подобного например для каких то архивов итд, где скорость не важна а надежность и стоимость очень важны?

3 имелось в виду не удобственность а именно рандомность. То есть чтобы ради одного файлика весом неважносколькобайт не приходилось перезаписывать ленту на пиццот терабайт по новой и так каждый раз. Скорость вообще рояля не играет (за пару часиков достал что надо и ладно).

Рандомность со скоростью тоже связана и вообще похоже ты уже просто придираешься. 😊

что сейчас при таких объемах данных может сгодиться для ХОЛОДНОГО локального хранения

Например, «очередная свежая» версия голографии: High-Dimensional Entanglement-Enabled Holography ©.

понять трынденцию

Возможные варианты «трынденции» ©.

Нет. Понимаете, вы пытаетесь притянуть массово популярные насы а я немножко в другую сторону смотрю - вот взять те же архивы. Данных море, но они надобны далеко не каждый день, а то и месяц. Но их нужно хранить, иногда добавлять или обновлять (тоже нечасто) и нужно чтобы это было дешево. Может быть и в целом совсем другое. Я бы не стал даже начинать тему еслиб это решение было на поверхности вот так вот, нет, очевидные вещи таковы что этого сегмента просто НЕТ или он настолько нишевой (а вот это уже интересней).

Философский вопрос о ХОЛОДНОМ хранении данных

Философский

Холодное хранение данных — симулякр.

мегаваттах

10 Вт*24 часа*365*10 = 876000 Вт*ч за 10 лет.

Всё кроме жёстких дисков будет заметно дороже. Сувать их в комповый корпус (включённый или выключенный) или же хранить стопками в шкафу (на них как и на cd/dvd можно что-нить написать) - дело вкуса.

симулякр

Если хранить данные на устройстве которое постоянно включено (то есть потребляет не разово а постоянно), а когда включено то носитель неизбежно портится и исчерпывает свой ресурс то это точно симулякр, а не холодное хранение. Рано, а не поздно, стоимость такого хранения превысит вообще создание новых данных с нуля.

Кстати Пейсбучка оказывается создала массив из 10000 блюреев для старых фоток. Вот это уже ближе к идеалу, а то всякие производители к холодному хранению и бэкапы тоже относят. Архивное хранение вот оно будет не симулякром, но такой темы не нагуглил (а странно).

Кстати насчет надписи. А вот существуют ли софтварные способы горячего индексирования при холодном хранении. Что-то типа

Нажимаем кнопку сохранить, указываем путь на компе /root/ФоткиМоейЖопы_2023 система просит вставить некий носитель (например хотсвап), сама его нужным образом маркирует для себя, записывает на диск в опредленное место, после чего сообщает «этот диск будет номер 1» мне надо написать на нем лишь цифру и положить на полочку. Индекс всего заархивированного когда либо на каких угодно дисках будет храниться на компе и весит мало относительно самих данных. Если я захочу например взять из архива ФоткиЧужойЖопы2011, нажимаю кнопочку на этом файле в индексе, система сама просит вставить нужный диск, потом сама на нем находит и копирует все что нужно мне на комп куда я скажу. Такая же процедура при изменении данных в архиве или удалении ненужного. Естественно знает о количестве оставшегося свободного места на каждом из дисков, со времени последнего подключения, когда бы оно ни было. Подобное существует?

НЖМД хранимый на полочке, вот решение!

Все равно боится ударов даже в выключенном состоянии гораздо сильней чем ДВД или лента. Я во всяком случае опасаюсь даже класть диск на стол «со звуком». Когда их будет много, добавится проблема поиска нужного, понадобится общий индекс как я написал выше.

Напиши, в чём проблема то.

Итак допустим есть некие полезные данные в большом (по сегодняшним меркам) объеме допустим
>1TB но <100TB.

Ничего себе так разброс по объему «по сегодняшним меркам».

например, сделать ленточный стример из магнитофона.

Уже было в прошлом веке. Арвид называется.

Ленточные стримеры гораздо ближе чем нас но их цена (и самих кассет) огромная.

Самих кассет — нет. Кассеты дешёвые относительно, учитывая объём. Но сам стример дорогой, да. Поэтому я и говорю, был бы больше объём — имело бы смысла (цена дорогого стримера окупалась бы дешёвыми кассетами), а на <100 ТБ действительно слишком дорого выйдет. Тут только NAS. Можно его не постоянно включенным держать, а по праздникам…

Данных море, но они надобны далеко не каждый день, а то и месяц. Но их нужно хранить, иногда добавлять или обновлять (тоже нечасто) и нужно чтобы это было дешево.

Ну так для этого есть плёнка. Проблема в том, что у вас данных далеко не море, и стример выходит слишком дорого, даже если бы кассеты были вообще бесплатными.

очевидные вещи таковы что этого сегмента просто НЕТ или он настолько нишевой

Всё просто. Для того, что влазит на 5 (ну ок, пусть 6. Ну пусть 10 с учётом дупликации данных в RAID) HDD, тупо используются HDD, потому что нет смысла городить под действительно столь нишевую задачу (холодный бэкап данных, но небольшого количества) что-то отдельное. Для бóльшего количества данных выгоднее становится плёнка.

Для ещё меньшего количества данных подходили DVD. Но DVD-R (не говоря уж об RW), в отличие от заводских DVD, не очень-то и надёжны, уже через 30 лет не факт, что все прочитаются. Они существовали и существуют не для этого, просто в силу дешевизны некоторые юзали и для этой цели.

Sony делают специальные Bluray диски для архивов. 100Гб на диск, заявленный срок хранения >50 лет.

Но их нужно хранить, иногда добавлять или обновлять (тоже нечасто) и нужно чтобы это было дешево.

Опять возвращаемся к понятию «дешево» и «иногда добавлять или обновлять». Но основное, что вы не упомянули это надежность хранения.

Все равно боится ударов даже в выключенном состоянии гораздо сильней чем ДВД или лента.

Лента и двд в «выключенном состоянии» боятся совсем другого. Первая минимум слипается, у второго слой осыпаться может и осыпается.

(не говоря уж об RW), в отличие от заводских DVD, не очень-то и надёжны, уже через 30 лет не факт, что все прочитаются.

RW спилиться 100%, и не через 30 лет, а буквально через несколько лет использования.

Только они стоят охренеть сколько. По 1.5 килорубля за диск. А учитывая, что их таких надо до 1024 штук, то это полтора ляма за бэкап без учёта резака. Даже если оптом брать дешевле, всё равно многие сотни тысяч рублей за медленный и неудобный бэкап — так себе идея.

Только они стоят охренеть сколько. По 1.5 килорубля за диск.

Это 15 баксов. Оптом дешевле будет, если что.

то это полтора ляма за бэкап без учёта резака.

Даже с учётом. USB привод сейчас стоит баксов 100, если не меньше.

Даже если оптом брать дешевле, всё равно многие сотни тысяч рублей за медленный и неудобный бэкап — так себе идея.

Так тебе гарантии нужны или что? Мы тут говорим про очень нишевый продукт, ясен хер он будет стоить больших денег.

Яхз на самом деле что ещё кроме оптики может хранить данные на таком большом промежутке. Ну разве что в камне или металле высекать, но там плотность не та.

Блюрэй.

Так тебе гарантии нужны или что?

Что нужно мне, в данном случае не имеет особого значения (для моих задач подходит RAID1 из обычных HDD), тут вопрос, что нужно ТС. Он тут обмолвился, что

Если хранить данные на устройстве которое постоянно включено (то есть потребляет не разово а постоянно), а когда включено то носитель неизбежно портится и исчерпывает свой ресурс то это точно симулякр, а не холодное хранение. Рано, а не поздно, стоимость такого хранения превысит вообще создание новых данных с нуля.

Из чего можно сделать вывод, что ценность данных не особо высокая, и вряд ли он захочет платить столько за «гаранти», если даже NAS с HDD выходит дорого.

Долго хранить и редко включать - да все варианты плохи. Оптика плывёт, флэшки/сосоди плывут, хард - а хрен его знает, что он при включении через 5 лет бошками по блинам не чиркнет. Хард наименее паскудное как по мне, хоть в компе я их терпеть не могу.

Совсем мелочь хранить - в base64 распечатать, как прошивки в журнале «Радио» :) Можно заламинировать и вот это всё.

Хард наименее паскудное как по мне

Плюсую!

Совсем мелочь хранить - в base64 распечатать, как прошивки в журнале «Радио» :) Можно заламинировать и вот это всё.

На 1ТБ «распечаточка» получится дорогостоящей.

а что пленка такая уж дешевая, что может заменить нжмд с резервированием +ликтричество?

ну вот случайно нагуглил усб 32тб за 2,5 тыщ руб., выглядит конечно неправоподобно, но вот если подключить даже к стандартному свичику проблема считай решена

https://www.ozon.ru/product/32-tb-vneshniy-zhestkiy-disk-hphhd-006-hphhd-006-serebristyy-1319374444/?advert=pxm3gJ0ugIc4X1YLSEGgt8mGuh9G9yy12s5wYptemtt84Srwi7TFj04ZsyFv6Na0nVETD_zZRBdiuxtihm5_dzyN3tnhmlLdsuLhsHgc9A_d0XabTx8LvB925O9ZPnxDnJso4LSzLaomdixceDK4cDv_MXISXYyq7FOPvnnFH3kN5TCcD28zth-_w7_0_i5x15k2__OcPz46VdvwRGROhu4Ki4eEPvdDgo2rtgvgwGAhSxfMia2s6mWKReCK110_wzj8DKy0XVRwRafrSo5feKbzAMnmTSnsf5S5xlfa8zOYstDME2bwsJp0BbcDIhhc3odZPw6Vej4lWTvhs2LuEfIJ&avtc=1&avte=2&avts=1701833124&keywords=hdd+100tb

Совсем мелочь хранить - в base64 распечатать, как прошивки в журнале «Радио» :) Можно заламинировать и вот это всё.

В том хранилище в Арктике распечатали данные на плёнку в виде кастомных QR-кодов. В начале каждого мотка плёнки – инструкция по расшифровке.

Из чего можно сделать вывод, что ценность данных не особо высокая, и вряд ли он захочет платить столько за «гаранти», если даже NAS с HDD выходит дорого.

Ну и пусть нахрен идёт с такими заявами.

P.S. моё предыдущее хранилище с вертушками лет 10 без проблем проработало. Заменил его, потому что место кончилось.

ну вот случайно нагуглил усб 32тб за 2,5 тыщ руб., выглядит конечно неправоподобно,

Учитывая, что самые толстые ынтерпрайзные вертушки сейчас по 24Тб что ли и стоят от 600 баксов за штуку, выглядит ОЧЕНЬ неправдоподобно. Я скорее про 32Гб поверю.

Ты бы лучше что-нибудь хорошее нагуглил, а не очередное разводилово.

на алике есть даже 64тб за 2700, но надо уточнять наверное, лет 3-5 назад мне 1ТБ за несколько тыщ оттуда казался на грани разводняка, а они работают нормально до сих пор

https://aliexpress.ru/item/1005006267054858.html?sku_id=12000036534722432&spm=.search_results.8.eeb72840MTi9oL

Мелочь именно. Какой-нибудь запароленный zip с чем-то очень ценным а-ля фразы от криптокошельков.

Место хранение нужно подходящее, это да. Ну а как бы хотели? В футбол играть устройствами хранения без последствий?