LINUX.ORG.RU

Архивирование данных

 ,


1

4

Некоторое время назад начал увлекаться астрофото, а значит у меня набегает довольно большой объем данных. Да, эти данные обрабатываются, суммируются, итд и получаются в итоге куда меньшие объемы, но как-то выбрасывать «сырые» данные жалковато, вдруг я научусь лучше обрабатывать и что-то смогу из них вытащить то, чего не могу сейчас. А объемы большие.

посетила идея купить на ебее lto4 или lto5 ленточный накопитель и кассеты к нему. lto4 по 800 гб может хранить, lto5 - 1,5 тб. Из огромного плюса кассет - они не ломаются при, например, падении или тряске (я так случайно недавно уже попортил внешний usb hdd).

Из сложностей - у них интерфейс или SCSI или SAS или FC. Т.е. еещ нужен адаптер и питание отдельное.

Какие еще могут быть проблемы с ними?

Повторюсь, использовать я их планирую не для бэкапа, а для архивирования - наделал снимков, гигабайт 200, дописал на кассету. Т.е. хотелось бы чтобы кассета записывалась не за 1 заход, а постепенно добавляться будут данные

★★★★★

Последнее исправление: cvs-255 (всего исправлений: 2)
Ответ на: комментарий от sshestov

Разумеется я сжимаю данные

cvs-255 ★★★★★
() автор топика

lto4 по 800 гб может хранить, lto5 - 1,5 тб

Больше, это в несжатом.

Из огромного плюса кассет - они не ломаются при, например, падении или тряске

Кто тебе такую глупость сказал? Как человек, что немало их загрузил в библиотеки своими руками, могу тебя уверить, что это не так. Они менее хрупкие, чем HDD, но всё же требуют деликатности. И более того, их нужно хранить в специальных шкафах с температурным режимом и защитой от пыли. Ну и они совсем не любят магниты — по очевидной причине.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Больше, это в несжатом

Данные уже пожаты мною и больше оно их не сожмет

cvs-255 ★★★★★
() автор топика
Ответ на: комментарий от Vsevolod-linuxoid

То есть просто положить на полку — так себе вариант?

Я просто тоже иногда задумывался про стриммер, но сугубо по фану.

Zhbert ★★★★★
()
Ответ на: комментарий от Zhbert

Ну вообще можно… просто это нарушение правил эксплуатации и так можно привод пылью, что застрянет внутри кассеты угробить, как и саму кассету. Они не герметичны.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

И более того, их нужно хранить в специальных шкафах с температурным режимом

Скверно-скверно…

cvs-255 ★★★★★
() автор топика
Ответ на: комментарий от cvs-255

Ну ты можешь нарушать это, просто это сократит жизнь привода и самих кассет. И если у тебя будет гарантия, за такие выходки тебя её точно лишат.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Не, ну хранить их в чем то пылезащищенном чтобы они не накопили в себе пыль - это одно. Если же их надо хранить строго при определенной температуре и влажности - это куда хуже

cvs-255 ★★★★★
() автор топика

lto4 по 800 гб может хранить, lto5 - 1,5 тб

Я то думал там десятки террабайт. Ну и какая выгода в цене по сравнению с hdd? По-моему ты забурился куда-то не туда. Легче hdd к полу приклеить, чтобы нельзя было уронить, чем вписываться в какие-то магнитные ленты.

ox55ff ★★★★★
()
Ответ на: комментарий от cvs-255

Желательно именно так, в прохладе и с установленной влажностью. То есть в шкафу должны быть такие же условия, как в ленточной библиотеке, а это навороченные штуки.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от ox55ff

Да, десятки терабайт. В сжатом виде.

Обычно они пишутся сперва в расжатом виде, а потом ленточная библиотека сама в фоновом режиме их сжимает и прочее.

Кроме того, так как это обычно для бекапов используется, данные со временем устаревают и библиотека пишет поверх новые.

Да, я работал с Veritas NetBackup и ленточными библиотеками IBM для LTO-4 и LTO-6.

Vsevolod-linuxoid ★★★★★
()
Последнее исправление: Vsevolod-linuxoid (всего исправлений: 1)

я на blue ray m-disk такую хрень пишу, они небольшие по 100Гб, но на удивление 10шт мне хватило

sparks ★★★★
()
Ответ на: комментарий от sparks

Какой срок хранения на блюрее? А то с cd-r у меня были проблемы чтения через несколько лет

cvs-255 ★★★★★
() автор топика
Ответ на: комментарий от Vsevolod-linuxoid

Обычно они пишутся сперва в расжатом виде, а потом ленточная библиотека сама в фоновом режиме их сжимает и прочее.

Ну у меня данные изначально пожатые

cvs-255 ★★★★★
() автор топика

Их нужно обслуживать, периодически перематывать и перезаписывать. Как часто — не помню, двадцать лет назад был причастен. Кажется раз в несколько лет, но нужно. В архивных библиотеках этим робот занимается.

Jameson ★★★★★
()
Ответ на: комментарий от cvs-255

там много тонкостей, с темиже блю рей есть LTO которые типа эко френдли и хорошо разлагаемые, а есть обычные, ну и есть M-DISK, у всех разные характеристики, M-DISK правительство асашай стало формально использовать для архвации данных

sparks ★★★★
()

Мне почему то кажется что обычный жёсткий диск в десяток террабайт размером лежащий в сейфе в антистатической коробочке продержит данные дольше и будет практичнее кассет. И удобнее. И он может быть не один. Карман для него с горячим подключением стоит копейки, внешний или внутренний.

Jameson ★★★★★
()
Ответ на: комментарий от Jameson

сейчас плотность записи оч большая, если собъётся калибровка головок, что возможно от банального загустения смазки и диск станет не читаемым

sparks ★★★★
()
Ответ на: комментарий от Jameson

От части практика, у меня тут был тред про возьню с диском, который ожил после полного сброса и до сих пор работает в nas, сейчас даже применяют технику движения головок с некоторым интервалом, как раз для предотвращения загустевания смазки

Дивный мир современных SATA HDD (Solved)

тут описание со всеми ссылками

sparks ★★★★
()

Вообще кассеты это до сих пор круто, здорово и практично, но только после определённых (очень больших) объёмов хранимых данных и со сроками хранения в десятки лет. И просто привода с кассетами недостаточно, правильно тут писали, нужно хранилище с температурным режимом, библиотечный робот, делающий перемотку и ротацию, линии подачи, короче это промышленный уровень и соответствующие капиталовложения.

Jameson ★★★★★
()
Ответ на: комментарий от sparks

Благодарю, интересно. Я наивно думал что с лежащим на полке диском в контейнере при постоянной температуре и влажности ничего не случится. Лежат же они на складах торгующих ими фирм как то, и не высыхают. Далеко не все распродаются в первый год.

Jameson ★★★★★
()
Ответ на: комментарий от cvs-255

CD обещали тоже сотню лет

Ага. А начали разлагаться на плесень и липовый мёд весьма быстро. Никто не мог предвидеть этого заранее, конфуз вышел. Правда сорт пластика после этого поменяли. Но появилась другая беда — отслаивание амальгамы. Особенно у дешёвых и массовых записываемых болванок с необработанным рубленым краем диска. У более дорогих это лечится фаской и лаковым покрытием торца.

Jameson ★★★★★
()

Писать надо как минимум в двух копиях на 2 разные ленты. Периодически их верифицировать и перекопировать нечитающиеся файлы на новые ленты.

А еще сами драйвы тоже ломаются, да.

bigbit ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Ну тогда и хорошо, что я этим не заморочился :)

Zhbert ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Обычно они пишутся сперва в расжатом виде, а потом ленточная библиотека сама в фоновом режиме их сжимает и прочее.

зачем ?? сжатие в лентиочном приводе наверняка в разы более слабое чем сжатие на компуктере хорошим сжимателем.

pfg ★★★★★
()
Ответ на: комментарий от cvs-255

смотря какой сд :) дешовый кетайский разваливается аз пару лет. покачественне подороже живет дольшеее. говорю по своей сборке сд двд… :)
проблема в лаковом покрытии поверх записываемого слоя. лак через несколько лет начинает крошиться.
в м-диск заменили лаковый слой на пластиковое покрытие, заменили вещество записываемого слоя и еще кучу всего намудрили.

если озаботишься раз в пять-десять лет перезаписывать диски то даже сд- двд- бд- под архив покатят :)

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от Jameson

привод вот только дорог и редок. для домашнего применения не совсем то.
плюс м-диска его можно читать на любом сд- двд- бд- приводе. а их у меня на работе их десяток вполне рабочих лежит.

pfg ★★★★★
()
Ответ на: комментарий от pfg

В ленточной библиотеке, которая управляет данными, стоят достаточно мощные компьютеры. И их алгоритмы сжатия оптимизированы под магнитные ленты.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

А ты точно работал с Veritas и LTO? Потому что ЕМНИП сжатие у меня производилось при записи, на лету, а не когда то потом, потому что это «потом» наступало через несколько лет во время профилактической перемотки в случае архивного хранения, которое без ротации. И сжатие не было каким то фантастическим требующим суперкомпьютера, сжимал вообще сам привод в процессе записи ленты каким то не шибко мудрым потоковым алгоритмом. Обслуживающий библиотеку сервак вообще особо не напрягался. А вот сервисной механики там было много — робот на подаче кассет в барабан привода (он у меня на пять кассет был), робот на библиотеке, транспортный конвейер, отдельный девайс для перемотки и перезаписи при необходимости архивных лент...

Jameson ★★★★★
()
Последнее исправление: Jameson (всего исправлений: 1)
Ответ на: комментарий от Jameson

Дополнял. Из библиотеке в библиотеку и из/в хранилища в/из библиотеку он не может.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от cvs-255

судя по описаниям любой бд-привод пишет. мощщи лазера хватает.
но да. лучше купить привод с отметкой может «писать м-диск».

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от Vsevolod-linuxoid

сколь помню в самом приводе есть сжиматель :)
если это отдельный комп, то вопросов нет - на нем можно прокрутить тяжелые и хорошо сжимающие алгоритмы.

pfg ★★★★★
()
Ответ на: комментарий от tiinn

с блюреем никогда не имел дела. А вот печальный опыт с cd/dvd есть.

Пишут что mdisc надежен очень. Но хотелось бы уверенности

cvs-255 ★★★★★
() автор топика
Ответ на: комментарий от cvs-255

В CD-R и DVD±R слой для записи на органической основе, он со временем и разрушается. В BD-R и M-DISC слой уже неорганический и более химически стойкий. Однако есть упомянутые выше LTH BD-R, в которых слой органический для облегчения внедрения их производства на старых заводах; такие диски лучше не трогать – и надёжность сомнительная, и пишутся порой заметно хуже, чем полноценные BD-R.

ksa242
()
Последнее исправление: ksa242 (всего исправлений: 1)

Слушай, ну вот я храню и фото архивы и видео архивы. И куда больше размером. Но мне ленты и в страшно сне не приснятся.

Жесткие диски. Все.

dk__
()
Ответ на: комментарий от Vsevolod-linuxoid

А вот такой вопрос. Вот есть же всякие стримеры типа такого или такого, которые явно предполагается использовать не в составе ленточной библиотеки.

Как же у них с долговечностью, темпратурным режимом итд?

cvs-255 ★★★★★
() автор топика
Ответ на: комментарий от cvs-255

Хуже, чем в тех, что в библиотеке.

Да, ленты можно использовать дома. Есть готовые решения.

Но это не будет так же надежно, как в нормальных решениях.

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Хуже, чем в тех, что в библиотеке.

Насколько? Пишут, что температурный режим вроде бы требуется 5-25 градусов, влажность около 40-50%. Ну у меня так и есть, выход за эти границы будет некомфортен не только лентам, но и мне, а потому у меня есть кондиционер

cvs-255 ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.