LINUX.ORG.RU

Файлохранилище на 50 Tb домой

 ,


2

7

С опасением пропадания инфы из интернета или доступа к ней и просто для удобства экспериментов с информацией, задумался, что таки надо накачать из интернета побольше. По самым скромным подсчетам выходит порядка 50 Тб, на скачивания где-то более года должно уйти.

Бюджет тысяч 70-80 максимум. Но чем меньше, тем жаба довольнее.

Как бы сделать из чего-то максимально дешевого? Из чего бы всезнающие лоровцы сделали?

Пока что думаю взять материнскую плату с 6-8-ю SATA-портами и напихать около 6-8 дисков по 8-10 Тб.

Резервное хранение - периодическими записями инфы по мере заполнения на внешние hdd, а те - на полочку.

Вопросы. Что за железо выбрать? Наверное, желательно работающий ECC, но это сильно сужает варианты выбора. Может есть готовые недорогие решения, но что-то не ориентируюсь в них. Имеющиеся NAS почему-то только на пару дисков рассчитаны.

Что с SMR дисками (черепичными)? Будет ли нормальная скорость, если на них писать инфу последовательно? В планах - скачивать все на один диск - а писать на другой.

★★★★★

Последнее исправление: praseodim (всего исправлений: 2)

По самым скромным подсчетам выходит порядка 50 Тб

Я бы приобрел накопитель. Он у меня есть, правда.

Владимир

anonymous
()

По самым скромным подсчетам выходит порядка 50 Тб, на скачивания где-то более года должно уйти.

Такие черепашьи скорости останутся и когда все позапрещают. Откуда год-то?

Спрашиваю с полным осознанием масштабов, мне провайдер банит входящий порт после 32ТБ раздачи, приходится менять регулярно.

t184256 ★★★★★
()
Ответ на: комментарий от t184256

Такие черепашьи скорости останутся и когда все позапрещают.

Или работа ФС создаёт очень большую вычислительную нагрузку.

torvn77 ★★★★★
()

экзорциста вызвать уже предлагали?

emissar ★★
()
Ответ на: комментарий от torvn77

У меня дедупликатор на btrfs, даже зарезаный до 2 потоков, переваривает терабайт с приличным дублированием существенно быстрее суток, на одном тормозном HDD. Боюсь даже представить, че там такого надо делать, чтобы ФС просела до метров в секунду.

t184256 ★★★★★
()

50 штук терабайтных microSD карточек :)

Harald ★★★★★
()

https://yadi.sk/d/kLKnSOpwHkKhD

https://www.u-nas.com/xcart/cart.php?target=product&product_id=17639 а чего это оно out of stock ((

https://market.yandex.ru/product--kompiuternyi-korpus-silverstone-ds380b-blac... и этого нет... какого хрена...

https://t.me/tarchan/977

targitaj ★★★★★
()
Последнее исправление: targitaj (всего исправлений: 3)
Ответ на: комментарий от t184256

Такие черепашьи скорости останутся и когда все позапрещают. Откуда год-то?

Скачивание не на предельной скорости происходит. Некоторые торренты вообще надо просить, чтобы встали на раздачу. Да и провайдер может подофигеть.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от pfg

если ты все таки дошел до холодной системы хранения, то посоветую глянуть в строну M-DISC. гарантируют хранение в несколько сотен лет и чтение на любом св двд бд приводе.

Объем маловат. Это надо будет закупить несколько сотен M-DISC.

дома держать магнитную ленточку даже без библиотеки имхо лишнего… у ленточки несколько другая фокус-группа.

Фокус-группа другая, но если удастся относительно дешево себе это сделать, то чего бы и не? Вообще много накопилось всякого из разряда «место занимает, но стереть жалко». Я же хомяк, мне даже сериалы смотренные стирать жалко, если те хоть немного понравились.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от s-o

50 ТБ - это обычный миди-АТХ, ставишь туда любой нормальный >=4-ядерный проц не старше 5 лет, 8-32 гига памяти, 5 винтов по 10 ТБ, и всё. какие к черту ленты в 2021 году?

Как я говорю, если не раздавать все время, то вот для хранения может ленты все-таки лучше. Как я понял, у них с надежностью принципиально лучше и даже если что-то испортится, то вряд ли вся лента.

То есть, в режиме «записать кучу всякого хлама и очистить место» лента наверное самое то, если по финансам нормально выйдет. Ну мне так кажется, может чего-то упускаю.

praseodim ★★★★★
() автор топика

Забэкапить интернеты хочешь?

В компутер вставляешь диск на X Tb и покупаешь пару аналогичных внешних.

Как заполнишь диск в компутере - переливаешь всё на два внешних. Один на полку, второй в быстром доступе.

Очищаешь диск в помпутере, покупаешь ещё два внешних.

GOTO Как заполнишь.

На фильмы\мультики сохранить, пока ещё есть в доступе нетронутое долбоящерами, чтобы и 17 мгновений весны ч/б, и Home alone с Трампом, и Спящая красавица с оригинальным звуком (а не той «озвучкой» которой нынешний союзмультфильм «чистит» старые мультики от технических огрехов прошлого столетия), для детям показать, хватит и 10Tb.

Музыку я тоже раньше собирал. В flac. Набрал под те же 10Tb и понял, что разницы между нормальным mp3 и flac не слышу (или ей можно пренебречь), влезло всё 4Tb. Один фиг доброй половины этого не слушаю и слушать не буду.

Сорцов\бинарников тоже максимум на 3Tb наберётся актуального.

Итого около 30Tb, но и это уже за сто тысяч перевалило на одних лишь дисках.

Т.о. или переосмыслить задачу, или увеличить бюджет.

ИМХО смысла в этом нет. У самого хлама на десятки Tb, который «может быть потом полезен». По факту диски просто место в тумбочке занимают. Фактически даже на разобрать и каталогизировать по-человечески времени нет.

mogwai ★★★★★
()
Ответ на: комментарий от s-o

и всё

Вот это главное. Целостность этих 50Tb ты гарантировать можешь? Зачем вообще нужно хранить 50Tb энторнетов, если мы заведомо соглашаемся, что любые из этих данных мы согласны потерять? Согласись на то, что они в интернете есть, а как пропадут - считай, что у тебя диск с ними сломался.

mogwai ★★★★★
()

С опасением пропадания инфы из интернета или доступа к ней и просто для удобства экспериментов с информацией, задумался, что таки надо накачать из интернета побольше.

Ты киберплюшкин

Crocodoom ★★★★★
()
Ответ на: комментарий от mogwai

в мире вообще ничего не гарантировано

Harald ★★★★★
()
Ответ на: комментарий от mogwai

Куда тебе Tb для книжек?)

Я много читаю. И много учусь, поэтому храню много курсов обучающих. И фильмы романтические тоже храню.

Владимир

anonymous
()
Ответ на: комментарий от mogwai

Ты прав. Давай теперь улучшим этот мидиАТХ. Во первых не стоит привязываться к цифре 50 ТБ. Дисков можно взять 6 штук по 10ТБ. Сделать из них raidZ2 на 40TB. Добавим из уточнений хороший бп; плюс желательно ЕСС (напр. Ризен). И все это под убунтой с zfs. Это чуть точнее, чем s-o написал, но примерно так же по бюджету.

zendrz ★★
()
Последнее исправление: zendrz (всего исправлений: 1)
Ответ на: комментарий от zendrz

По самым скромным подсчетам выходит порядка 50 Тб

Во первых не стоит привязываться к цифре 50 ТБ

Вангую, что ТС хочет от 50Tb, раз пишет так как пишет, но пусть сам решает чего он хочет.

mogwai ★★★★★
()
Ответ на: комментарий от NDfan

Вот поэтому надо не самоцензуру устраивать, а все надо шифровать, даже дома. Чтобы ничего причудивого не случалось.

anonymous
()
Ответ на: комментарий от t184256

провайдер банит входящий порт после 32ТБ раздачи

а это законно вообще? то,что пров делает,я имею ввиду

d09
()
Ответ на: комментарий от anonymous

Ну тут дело деликатное, каждый сам выбирает подход (под свою ответственность).

Просто будет обидно, если в файлопомойке наскребут какой-то ненужной херни на статейку (учитывая, сколько невинного шлака туда надобавляли за последние годы https://minjust.gov.ru/ru/extremist-materials/?q=аудиозапись )

NDfan
()
Последнее исправление: NDfan (всего исправлений: 1)
Ответ на: комментарий от torvn77

Упомянутый мной эффект прчи переписываемых файлов наблюдался и для линукса и для винды на самых разных материнках.

Тараканов травить надо. И натуральных, и головных.

anonymous
()

Бюджет тысяч 70-80 максимум

Винты стоят примерно 1тыр за терабайт, т.е. у тебя всего лишь 20-30тыр останется на остальное железо (и то, если ты винты в тупой рейд-0 объединишь).

Нет, сынок, это - фантастика!

anonymous
()
Ответ на: комментарий от d09

провайдер банит входящий порт после 32ТБ раздачи

а это законно вообще?

Если учесть то, что человек за месяц может потребить максимум 1 или 2 ТБ контента то не важно законно это или нет, ограничение очень свободное и провайдеру можно простить если он пытается установить некоторые разумные пределы потребления.

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

Если прикинуть, то при самой крутой раскладке больше 20ТБ на 100Мбит никак не скачать!

Интересно, как он 32 умудряется выкачивать или раздавать?

anonymous
()
Ответ на: комментарий от anonymous

Ну может у него гигабитное подключение, тут имхо скорее всё будет упираться в аппаратные ограничения самого ПК.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)

Бюджет тысяч 70-80 максимум. Но чем меньше, тем жаба довольнее.

Опасный_поцык.jpg

Маловато, нынче нормальные 10 ТБ меньше чем за 15 000 не взять. Это только накопители.

Из чего бы всезнающие лоровцы сделали?

Работоспособность > дешевизна, так? Если так — зависит от целей и времени хранения. HDD для сверхдолгого холодного хранения подходят не очень, тут оптика лучше, ну ленты ещё(но хороший стример дорогой, а читать с лент неудобно).

Среднесрочное хранение — HDD, безальтернативно. Ничего дешевле и удобнее нет.

Скачал, подключил eSATA, передал, отключил, положил на полку. Примерно так.

Раз в 3-6 месяцев проверить целостность и покрутить немного — сойдёт. Если условия хранения более-менее оптимальны — ничего не станет с ними. Нужна нормальная комнатная температура, защита от статики и магнитных полей, солнечного света.

Завернуть в антистатик и положить в сейф — идеальный вариант, я именно так делаю и у меня сейчас в сейфе ~ 30 ТБ полезных данных(ну почти 100% полезных).

Эх, написал бы ты летом — я бы тебе подыскал почти дармовых накопителей среднего качества, ныне их списали в утиль. Раньше через меня проходил неслабый ручей вторичного железа, но в связи с кое-какими событиями контора подзахирела. Временно, надеюсь.

Вот интересно, как долго придётся качать 50 ТБ? Уже посчитал?

SM5T001
()
Последнее исправление: SM5T001 (всего исправлений: 1)
Ответ на: комментарий от SM5T001

Завернуть в антистатик и положить в сейф — идеальный вариант, я именно так делаю и у меня сейчас в сейфе ~ 30 ТБ полезных данных(ну почти 100% полезных).

а если товарищ майор придёт и изымет твой сейф в качестве вещдока

Harald ★★★★★
()
Ответ на: комментарий от Harald

Так вроде безопасности вопрос не касался...

Ну если предполагать такой вариант — надо шифровать, можно и с «двойным дном».

LUKS позволяет делать многослойные контейнеры, что может быть использовано как некий аналог VeraCrypt, но как именно что настраивать я говорить не буду, кому нужно — тот найдёт.

А то если расскажу — используемое мной решение мигом потеряет в «правдоподобности».

SM5T001
()
Ответ на: комментарий от SM5T001

Вот интересно, как долго придётся качать 50 ТБ? Уже посчитал?

Долго, по прикидкам с год. Тем более что не 24/7/365

praseodim ★★★★★
() автор топика

материнскую плату с 6-8-ю SATA-портами

А почему не RAID-контроллер?

int13h ★★★★★
()
Ответ на: комментарий от torvn77

Который спокойно подымет с дисков и зашифрует жалкий гигабит в секунду.

t184256 ★★★★★
()

Оцените вероятность того, что нечто исчезнет из интернета, помножьте на вероятность того, что именно оно вам до зарезу понадобится, помножьте на коэффициент незаменимости, помножьте на вероятность того, что вы вспомните что именно вам нужно, помножьте на вероятность того, что вы вспомните как называется то, что вам нужно, помножьте на вероятность того что вспомненное и сохраненное удовлетворит вас.

При взгляде на итоговую цифру вы все еще хотите тратить тратить деньги, время, место в тумбочке? Если вы с уверенностью ответили «да» - значит вы самым гнусным образом не стали считать вышесказанное, а положились на эмоциональную оценку «хочу и все!»

vaddd ★☆
()
Ответ на: комментарий от torvn77

нет, нельзя такое прощать,если не было прописано какое-то ограничение в контракте, а тариф безлимитный - то хоть 1000 тб можно. Откуда вообще взялось «человек за месяц потребляет 1-2 тб?» Провайдера это каким боком касается вообще? Может,он на необитаемый остров на полгода собрался,и ему сто сериалов в хорошем качестве надо запасти? Имхо, провайдер крайне неправ

d09
()
Ответ на: комментарий от d09

безлимитный - то хоть 1000 тб можно. Откуда вообще взялось «человек за месяц потребляет 1-2 тб?»

Моя старая мама смотрит ютуб, так вот, трафика набегает менее 100 ГБ и в этот трафик включена не только мама, но я с небольшим количеством ютуба и большим количеством манги, новел и ЛОРа.
То есть это наш совокупный трафик.

То есть даже если считать что муж+жена+трое_детей в совокупности насмотрят не более 0.5 ТБ.

Ну а остальные 1.5 ТБ я исхожу из того что ты в онлайнкинотеатре просмотрел 15 блюрейных фильмов по 0.1 ТБ каждый, на самом же деле ты столько за месяц просмотреть не сможешь, просто кинопромышленность не выпустит столько новинок.

Так что 32 ТБ это намного больше потребностей среднего человека, практически безлимит.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 2)
Ответ на: комментарий от torvn77

Вы в игры просто не играете, посмотри, сколько новье весит. И я сейчас не про торренты, их и легально качать уже стало мейнстримом (я этого не понимаю,но это другой разговор). Да и видео тоже, встречал раздачи,где один(!) фильм весил под 100гб. А сериалы? Любой сериал из 2-4 сезонов, 1 сезон от нескольких до нескольких десятков серий,ну в среднем,допустим,15,ок,сериалы короче фильмов (1 серия), так что где-то по 30-50 гб серия.И таких раздач все больше и больше. Так что объем траффика индивидуальное дело. Да и самое главное, а зачем его вообще считать? Ну кроме как по-приколу,для себя. Речь ведь о том, имеет право провайдер ограничивать объем трафика абонентам безлимитных (другие вообще еще в мире есть?), или не имеет. Такое точно должно быть в договоре, пусть даже мелким шрифтом, но если нет - то не имеет

d09
()
Ответ на: комментарий от d09

Да и видео тоже, встречал раздачи,где один(!) фильм весил под 100гб.

Это один блюрей в 0.1ТБ.
И сколько за месяц будет выпущенно таких фильмов, чтобы они были достоины скачивания и сидирования в таком формате?

torvn77 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.