LINUX.ORG.RU

Файлохранилище на 50 Tb домой

 ,


2

7

С опасением пропадания инфы из интернета или доступа к ней и просто для удобства экспериментов с информацией, задумался, что таки надо накачать из интернета побольше. По самым скромным подсчетам выходит порядка 50 Тб, на скачивания где-то более года должно уйти.

Бюджет тысяч 70-80 максимум. Но чем меньше, тем жаба довольнее.

Как бы сделать из чего-то максимально дешевого? Из чего бы всезнающие лоровцы сделали?

Пока что думаю взять материнскую плату с 6-8-ю SATA-портами и напихать около 6-8 дисков по 8-10 Тб.

Резервное хранение - периодическими записями инфы по мере заполнения на внешние hdd, а те - на полочку.

Вопросы. Что за железо выбрать? Наверное, желательно работающий ECC, но это сильно сужает варианты выбора. Может есть готовые недорогие решения, но что-то не ориентируюсь в них. Имеющиеся NAS почему-то только на пару дисков рассчитаны.

Что с SMR дисками (черепичными)? Будет ли нормальная скорость, если на них писать инфу последовательно? В планах - скачивать все на один диск - а писать на другой.

★★★★★

Последнее исправление: praseodim (всего исправлений: 2)
Ответ на: комментарий от vvviperrr

расскажи лучше, что ты именно сливать собрался. порнлаб?

один derpibooru на 5 ТБ идёт. Думаю порнхаб будет сильно тяжелее.

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 1)
Ответ на: комментарий от i-rinat

🙈 капец… такое не забекапить толком. ТС, тебе оно действительно целиком надо?

bvn13 ★★★★★
()
Ответ на: комментарий от vvviperrr

вот и интересно, что народ качает то)

Я встречал такого же как ТС, аудиофайл, с перепугу, что закроют торренты, он выкачивал терабайты lossless-музыки.

papin-aziat ★★★★★
()
Ответ на: комментарий от papin-aziat

И правильно, торенты доживают свое. На Рутрекере по полтора сида сидит на раздаче. Я себе более чем легко представляю как в будущем выпиливают из всяких Netflix фильмы (напр. выпиливают Demolition Man потому что там все белые хорошие а терорист негр). Так что, уверен, в будущем много что может оказаться не так легко доступно как сейчас.

urxvt ★★★★★
()
Ответ на: комментарий от urxvt

Уже полгода назад началось: Они добрались и до электроники (комментарий). Если не ещё раньше.

Ещё пример: «Приключения Гекльберри Финна». Но тут повезло больше: просто отцензурили Марка Твена, заменив слова, ставшие за последнее время оскорбительными.

gag ★★★★★
()
Ответ на: комментарий от urxvt

Так что, уверен, в будущем много что может оказаться не так легко доступно как сейчас.

Согласен целиком, но это если говорить о тенденции. Однако, с одной стороны торренты не торопятся умирать, с другой мы не знаем, что будет завтра, а халяву будут хотеть всегда, но, как часто бывает, карачун подкрадывается с третьей — неведомой пока — стороны, и ее тоже не угадаешь. Так что к любой аналитике будущего я отношусь без малейшего интереса.

papin-aziat ★★★★★
()
Ответ на: комментарий от anonymous

Из которой послушает хорошо если один процент %)

Полагаю, сам процесс подготовки к апокалипсису приносит удовольствие.

papin-aziat ★★★★★
()
Ответ на: комментарий от urxvt

кстати да, торренты вымерают. скачать с них что-то редкое и винтажное уже нереал. хотя помню лет 10 назад всё было иначе. поэтому с недавних времен я тоже все редкое и старое стараюсь у себя держать.

Rost ★★★★★
()
Последнее исправление: Rost (всего исправлений: 1)
Ответ на: комментарий от greenman

Раздавать - это вообще отдельная история. Это тогда все диски надо подключить в LVM или что-нибудь такое. Между прочим, снимаю шляпу, перед теми кто раздает. Раздавать такой объем с 2000 с лишним торрент-файлов - это кхм уметь надо. Ну хотя бы денег иметь на такое хобби.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от Rost

Еще можно закинуть торрент в сидбокс и подождать. Обычно даже довольно редкое в течение недели-другой все-таки скачается. Но не гарантировано.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от Harald

Еще лет пять назад, кстати, надо обновить архивы. Но там как-то не очень много вышло. Уже не помню сколько, но вроде даже английская меньше 100 Гб.

Между прочим, к вопросу о википидорстве с удаляторством статей по причине «значимость не показана» и т.п. ИМХО, но нет технических проблем держать все статьи, ну может только совсем треш типа статей про своих котиков удалять.

praseodim ★★★★★
() автор топика
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от cobold

на сколько дороже?

да и электричество - оно тоже кстати небесплатное, а некрозионы - они жрутЪ…

NiTr0 ★★★★★
()
Ответ на: комментарий от Rost

Да, к сожалению, жалко, что на рутрекере отменили… блин, забыл как называлось, ну ты понял, так что да, старые не сильно популярные раздачи умирают.

papin-aziat ★★★★★
()
Ответ на: комментарий от gag

Интересно другое, я конечно читал тогда треды на рутрекере про отмену, что это мол будет работать, что типа количество народа всё равно достаточное для поддержки раздач плюс то, которое будет прибавляться за счёт отмены рейтинга и DHT ещё, но я думал кирдык настанет сразу, а нет, сиды есть. Интересно откуда?!

papin-aziat ★★★★★
()
Ответ на: комментарий от papin-aziat

Та самая простая форма рейтинга себя изжила. Но да, реформа прошла довольно радикально. Стало ли так мало сидов из-за этого или сиды отвалились из-за блокировок в РФ, было бы интересно узнать. Ещё лет 8 назад были научные статьи по битторренту.

gag ★★★★★
()
Ответ на: комментарий от gag

Вряд ли в блокировках дело. На той же Бухте ситуация еще хуже.
Много кто уверовал и перебежал в онлайн сервисы (среди знакомых практически все ими пользуются).

urxvt ★★★★★
()
Последнее исправление: urxvt (всего исправлений: 1)

Перестань заниматься хернёй.

anonymous
()
Ответ на: комментарий от praseodim

нет, он только 10 Tb дает максимум, облачные хранилища достойный выбор даже для тех кто боится пропадания инфы из интернета (абсолютно зря кстати).

XoFfiCEr ★★☆☆
()
Ответ на: комментарий от papin-aziat

Правильно между прочим. Некоторые штуки, которые можно было легко найти ещё в 2014 теперь не найти нигде. На одном заблокированном самом популярном пиратском кинотеатре до сих пор не могут восстановить часть фильмов и сериалов, т.к. серий или фильмов просто нету в интернете. Правда это не наши копирасты удар нанесли, а закрытие мунволка копирастами европейскими.

peregrine ★★★★★
()
Последнее исправление: peregrine (всего исправлений: 1)

Что с SMR дисками (черепичными)? Будет ли нормальная скорость, если на них писать инфу последовательно?

Ты бекап хочешь сделать или просто купить кучу железа в коллекцию?

Если проявишь ко мне уважение то могу достать со своей полки 8 дисковый массив и посмотреть в каком он состоянии после примерно пяти лет хранения.

torvn77 ★★★★★
()
Ответ на: комментарий от peregrine

Только под эти носители отдельный дом строить придётся.

Уже дешевые но ещё не престарелые лто берут 3-6 Тб на кассету - для объемов ТС это всего 10-20 кассет

rukez ★★★★
()
Ответ на: комментарий от anonymous

В общем я кажется определился, похоже мне нужен не NAS, так как я не собираюсь раздавать (ну разве что кто-то попросит отдельные вещи), а именно хранилище.

И видимо вариант со стриммером LTO-5 и лентами наиболее привлекательный сейчас. Однако есть вопросы. Может отдельную тему завести?

В лентах я полный нуб. В руках не держал, вживую не видел. Удаленно не пользовался (если только сам не зная, как клиент сервиса).

Покупка нового LTO-5 не вариант из-за цены. Самое дешевое, что я нашел - это где-то тысяч за 100 рублей за стриммер. Но может плохо искал и пропустил что-то дешевое?

Б/у вроде можно найти примерно за 30 тысяч. Такая цена устраивает, но неясно насколько она адекватна. Вообще на что обращать внимание, насколько высок риск купить убитую технику?

Еще, что с подключением? Я смотрю они используют Fibre Channel. Не очень понятно, что с этим делать. Вроде есть PCI-E карты с Fibre Channel но по ценам от 8 тысяч рублей до 100 и более. Я ничего не путаю? Может, что за 8 тысяч оно какое-то очень не такое как за 100? Мне ведь не на пределе скорости писать надо или какие-то еще функции использовать. Просто подключение накопителя. Может есть переходники USB - Fibre Channel? (Не нашел пока)

Как в Linux с Fibre Channel?

Что с объемом кассет? Я так понял, что 3Тб - это маркетинговый развод на сжатие. Для моих целей (книги в *.djvu, pdf, фильмы, архивы) сжатия почти не будет. Так что только 1.5Tb для LTO-5?

LTO-6 вроде сильно уже дороже, а LTO-4 не намного дешевле, но всего 800 Гб.

praseodim ★★★★★
() автор топика
Последнее исправление: praseodim (всего исправлений: 2)
Ответ на: комментарий от torvn77

Если проявишь ко мне уважение то могу достать со своей полки 8 дисковый массив и посмотреть в каком он состоянии после примерно пяти лет хранения

Да я вроде к тебе нормально отношусь =) Но пять лет назад там вряд ли был SMR, да и интересует больше именно какие у него приколы со скоростью при использовании как бекапа. Не очень улыбается обнаружить, что файло пишется со скоростью 0.5-5 Мб/сек вместо хотя бы 50 Мб/сек

praseodim ★★★★★
() автор топика
Ответ на: комментарий от praseodim

Да я вроде к тебе нормально отношусь =)

Ну ладно, счас посмотрим:

Пока что думаю взять материнскую плату с 6-8-ю SATA-портами и напихать около 6-8 дисков по 8-10 Тб.

Архивное хранение и южный мост несовместимы, лично я не один раз наблюдал как на разных материнских платах прямое копирование с одного винчестера на другой приводило к ошибкам в копируемых файлах.
И вообще при копировании большого объёма южный мост может перегреться и начать постепенно саморазрушаться.
А это значит надо покупать отдельный райдконтроллер, даже если аппаратного райда не будет, а будет простой проброс дисков.

Наверное, желательно работающий ECC, но это сильно сужает варианты выбора.

Может тебе просто старый сервер купить?

Диск объёмом 12ТБ

Скорее всего в нём очень много пластин, что влечёт снижение надёжности механики, такие диски тебе брать не следует, бери с одной, максимум с двумя пластинами.Дисков ты купишь больше, но такие диски будут надёжнее, и не факт что результирующая цена за мегабайт будет сильно отличатся.

SMR

Это повышение плотности записи за счёт надёжности записи, такие диски тебе брать не следует.

Не очень улыбается обнаружить, что файло пишется со скоростью 0.5-5 Мб/сек вместо хотя бы 50 Мб/сек

Если только собрать в zraid(raid5) и включить чексуммы, а компрессию не включать то в принципе такие скорости получить можно.

Что до массива то там у меня zfs-fuse, в zraid, с чексуммами и компрессией(zlib)
Сделан он из восьми свежих WD Black Raid Edition емкостью 250 ГБ,
сидящих в двух sas корзинах(диски маленькие потому что однопластинчатые для снижения механического износа).
Подключены эти sas корзины к радконтроллеру LSI Logik, который работает в режиме проброса дисков.
В общем по этому массиву можно судить о том, на что ты можешь рассчитывать вообще.

Но если тебе не надо, то я бы не хотел прямо сейчас свой массив собирать, потому как это возня да и перед сборкой хорошо бы снять образхы со всех восми дисков, а то неизвестно что будет при монтировании после трёхлетнего перерыва.

torvn77 ★★★★★
()
Ответ на: комментарий от praseodim

как же люди любят себе несоместимый гемор организовывать

50 ТБ - это обычный миди-АТХ, ставишь туда любой нормальный >=4-ядерный проц не старше 5 лет, 8-32 гига памяти, 5 винтов по 10 ТБ, и всё. какие к черту ленты в 2021 году?

s-o
()
Ответ на: комментарий от torvn77

Архивное хранение и южный мост несовместимы, лично я не один раз наблюдал как на разных материнских платах прямое копирование с одного винчестера на другой приводило к ошибкам в копируемых файлах.

Не неси хероту. Экстраполировать свой давнишний опыт с 2 перегревающимися неудачными чипсетами nvidia теперь на абсолютно все южники - это надо совсем отбитым быть. Хотя стоп, ты же он и есть :)

anonymous
()
Ответ на: комментарий от anonymous

торвин поадекватнее всех остальных пятизвездочников, даже если не считать гидроцефала

anonymous
()
Ответ на: комментарий от anonymous

вместе взятых, естественно.

anonymous
()
Ответ на: комментарий от anonymous

с 2 перегревающимися неудачными чипсетами nvidia

  1. К сожалению не с двумя материнками, а намного больше.
  2. Через меня прошло наверно 10 материнок и только две из них были на инвидии
  3. Упомянутый мной эффект прчи переписываемых файлов наблюдался и для линукса и для винды на самых разных материнках.
    Он настолько для меня привычен что я теперь всегда перебрасываю большие объёмы информации исключительно через tmpfs.
    Померла btrfs на корневом разделе (комментарий)
torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от gnu_linux

Это к стати вариант, можно сделать распределённую ФЙС и каждый даст на эту ФС тот или иной кусочек.
Я например могу надавать аниме.

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

Что-то вроде этого уже давно есть в осле: share folder.

gag ★★★★★
()
Ответ на: комментарий от praseodim

если ты все таки дошел до холодной системы хранения, то посоветую глянуть в строну M-DISC. гарантируют хранение в несколько сотен лет и чтение на любом св двд бд приводе.
для домашнего холодного бекапа имхо самое то.
дома держать магнитную ленточку даже без библиотеки имхо лишнего… у ленточки несколько другая фокус-группа.

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от torvn77

давно уж есть IPFS зовется. только использование хромает…

pfg ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.