LINUX.ORG.RU

Файлохранилище на 50 Tb домой

 ,


2

7

С опасением пропадания инфы из интернета или доступа к ней и просто для удобства экспериментов с информацией, задумался, что таки надо накачать из интернета побольше. По самым скромным подсчетам выходит порядка 50 Тб, на скачивания где-то более года должно уйти.

Бюджет тысяч 70-80 максимум. Но чем меньше, тем жаба довольнее.

Как бы сделать из чего-то максимально дешевого? Из чего бы всезнающие лоровцы сделали?

Пока что думаю взять материнскую плату с 6-8-ю SATA-портами и напихать около 6-8 дисков по 8-10 Тб.

Резервное хранение - периодическими записями инфы по мере заполнения на внешние hdd, а те - на полочку.

Вопросы. Что за железо выбрать? Наверное, желательно работающий ECC, но это сильно сужает варианты выбора. Может есть готовые недорогие решения, но что-то не ориентируюсь в них. Имеющиеся NAS почему-то только на пару дисков рассчитаны.

Что с SMR дисками (черепичными)? Будет ли нормальная скорость, если на них писать инфу последовательно? В планах - скачивать все на один диск - а писать на другой.

★★★★★

Последнее исправление: praseodim (всего исправлений: 2)

r/DataHoarder

винты дешевле всего брать в США внешние ВД на 10-12 ТБ, и их потрошить

s-o
()
Ответ на: комментарий от anonymous

Винты от сигейт это то еще *вно. Я уже два ironwolf’a выкинул при том, что WD red, который я покупал намного раньше до сих пор работает.

Так то у всех производителей есть хранилища на большее количество дисков, и даже расширители в виде дисковых полок, только в бюджет ТС оно не влезает, даже без дисков.

Jack_Vo ★★
()

Не буду отговаривать от этой слабоумной затеи, но этого бюджета едва хватит на потерю данных, для хранения же надо умножить на 3-4 для начала.

anonymous
()

таки надо накачать из интернета побольше

«не спать, не спать, косить, косить!»

anonymous
()

Мало денег для такого, если только из мусора собирать, с соответствующей надежностью хранения.

Хотя возможно имеет смысл рассмотреть покупку б/у ленточного накопителя и oldstock кассет к нему. Возможно. Лень гуглить цены.

Khnazile ★★★★★
()
Последнее исправление: Khnazile (всего исправлений: 1)

по дискам https://www.backblaze.com/b2/hard-drive-test-data.html

Если ECC, то из дешевого наверное китайские зионы с али с ddr3 памятью, надежность - как повезет.

С последовательной записью у SMR ок, но тоже не без нюансов, если писать мелкими блоками с fsync-ами, то будет ожидаемо плохо ну и при приближении к заполнению диска будут проблемы с тем, что не тронутых черепиц нет, хотя формально свободное место есть и тогда чтобы что-то записать надо сначала прочитать большой блок, а потом его записать. Ну и наверняка будет рейд использоваться, а при ребилде рейда с SMR дисками будет проблема в виде очень долгого ребилда. С учетом 50Гб полезного места + минимум 20% надо держать свободными + избыточность + надо иметь пару дисков в запасе что-то мне кажется, что это не влезет в бюджет.

Видел большой тред на эту тему на форуме ixbt.com там умельцы мастрячат ZFS on Linux на самом разнообразном железе, кто во что горазд и у кого какие требования. Даже дистры специализированные есть

cobold ★★★★★
()
Последнее исправление: cobold (всего исправлений: 1)

HDD HGST, если найдёшь ещё, самые топчик по надежности и цене.

TomBOY ★★
()
Ответ на: комментарий от anonymous

Этому говну цена потолок 5к рублей. Или ты из тех кто думаешь что дорого это круто? Муууаааахахаха. Потребитель такой потребитель. Хотя на таких как ты экономика держится отчасти )))

anonymous
()

Ой вот не треться на ровном месте. Купи 1 на 10тб как заполнится купи ещё один и так далее. А то это по сути просто разовый слив денег в 50тб из которых ты пару лет будешь первые 5 еле еле забивать

anonymous
()
Ответ на: комментарий от anonymous

цена потолок 5к рублей

12 Тб

Где продают 12 Тб за 5 тысяч?

anonymous
()
Ответ на: комментарий от Jack_Vo

Винты от сигейт это то еще *вно.

Умножаю этого регистранта!

mord0d ★★★★★
()

С опасением пропадания инфы из интернета

расскажи лучше, что ты именно сливать собрался. порнлаб?

vvviperrr ★★★★★
()
Последнее исправление: vvviperrr (всего исправлений: 1)

Бюджет тысяч 70-80 максимум.

Тебе не хватит этого на нормальные диски даже без избыточности.

aquadon ★★★★★
()

Что ты собрался хранить на 50ТБ? Блюреи?

Бюджет тысяч 70-80 максимум.

С таким бюджетом вдвойне странно.

anonymous
()

Ленточный стриммер из посвежее + кассет на остатки
я не шучу, для именно хранения это самое дешевое

rukez ★★★★
()

Наверное, желательно работающий ECC, но это сильно сужает варианты выбора.

А как по мне, так сейчас рай для любителей ECC. Десктопных плат с 8 портами SATA и поддержкой ECC вагон, сама память стоит всего на четверть дороже обычной.

Что с SMR дисками (черепичными)? Будет ли нормальная скорость, если на них писать инфу последовательно?

Если не собираешься в софтрейд, то всё ок, тем более что SMR дешевле. Последовательная запись плюс-минус на одном уровне.

melkor217 ★★★★★
()
Последнее исправление: melkor217 (всего исправлений: 1)

Как бы сделать из чего-то максимально дешевого?

Кое на чём желательно не экономить: уже упомянутая ECC и однозначно не экономить: блок питания.

Выше уже упомянули о популярных внешних USB3 8/10/12/14 TB WD EasyStore (USA) / Elements (Europe) + WD MyBook. Уже с полгода, наверное, 8/10 TB всё чаще попадаются воздушные. 12/14 TB по-прежнему гелиевые. Недавно появились 16/18 TB, но дороже за 1 TB. Те, что гелиевые, предположительно HGST Ultrastar DC HC510/520/530. Но очевидно не прошедшие отбор по всем параметрам.

Резервное хранение - периодическими записями инфы по мере заполнения на внешние hdd, а те - на полочку.

Надо только не забывать регулярно их подключать и дать повертеться. И чтобы полочка была в месте с благоприятными условиями (температура, влажность). Причём регулярно для современных винчестеров может быть не раз в год, а раз в месяц.

Выше уже упомянули, что не стоит покупать все диски сразу. Причин две. Самая главная как в поговорке: не клади все яйца в одну корзину. Вторая: цены хоть медленно но снижаются.

В планах - скачивать все на один диск - а писать на другой.

Если скачивать торрентом, то там можно включить preallocate и можно писать сразу на целевой диск.

gag ★★★★★
()
Ответ на: комментарий от vvviperrr

бекап… бекапа, бекап бекапа бекапа… бекап бекапа бекапа бекапа ааааааааааааааааааа кабан кабапа пакабапкабапа!

anonymous
()
Ответ на: комментарий от praseodim

у меня на самом деле похожий бекап есть. но там в основном книги, некоторые проекты с гитхаба, лекции и тп. хватает двухтерабайтного портативного ссд. вот и интересно, что народ качает то)

vvviperrr ★★★★★
()
Ответ на: комментарий от anonymous

прикольно конечно, но 2 гига на одну кассету? 500 кассет на терабайт? проще и дешевле закупить самсунговые ssd. и компактнее, и дешевле. про скорости я вообше молчу.

в 90х наверное имело смысл.

vvviperrr ★★★★★
()
Последнее исправление: vvviperrr (всего исправлений: 1)
Ответ на: комментарий от praseodim

Ленты каких-то бешеных бабок стоят. Одна кассета от 100 с чем-то тысяч.

Глянь авито - лто5 новый стример стоит в среднем 60, кассеты по 800 уплей (новые, разумеется)

rukez ★★★★
()
Ответ на: комментарий от gag

Кое на чём желательно не экономить: уже упомянутая ECC и однозначно не экономить: блок питания.

Есть старая плата на 2011-м сокете с X79 чипсетом. Я только не понял достаточно ECC-память докупить или еще надо туда Xeon, вместо 3930k

Выше уже упомянули о популярных внешних USB3 8/10/12/14 TB WD EasyStore (USA) / Elements (Europe) + WD MyBook. Уже с полгода, наверное, 8/10 TB всё чаще попадаются воздушные.

Хм, неожиданно. Про внешние я даже не думал, но почему бы и не, если там диски как бы не лучше, чем внутренние за почти туже цену. Но это как-то надо четко понять.

Причём регулярно для современных винчестеров может быть не раз в год, а раз в месяц.

Это если SSD что ли? Пока тьфу-тьфу, но делал ревизию старых дисков, некоторые уже лет 7-8 не включал, спокойно завелись.

praseodim ★★★★★
() автор топика
Ответ на: комментарий от rukez

Глянь авито - лто5 новый стример стоит в среднем 60, кассеты по 800 уплей (новые, разумеется)

Сейчас глянул. 60 - это вроде только б/у стриммер. Новые кассеты на 3Тб где-то 2500-3000 руб. Но может я чего-то не то смотрел?

Но в принципе тоже повод подумать. А насколько вообще надежно хранение на кассетах?

praseodim ★★★★★
() автор топика
Ответ на: комментарий от praseodim

Вроде как если магнитами не размахивать рядом и влажность более-менее соблюдать, то долго. Дольше чем оптика, скорее всего дольше чем флешки. Насчёт HDD не знаю.

Dark_SavanT ★★★★★
()
Ответ на: комментарий от praseodim

если там диски как бы не лучше, чем внутренние за почти туже цену.

Если бы почти, то, ясное дело, брали бы отборные внутренние. MyBook 12 TB за 175+ евро (3 года гарантии) против Ultrastar DC HC520 12TB за 270+ евро.

Это если SSD что ли?

Нет, не SSD.

для современных

лет 7-8 не включал

Понятие «современный» - это, конечно же, растяжимое понятие.

спокойно завелись.

Вопрос ещё в том насколько им теперь хорошо крутиться, или они на дикий износ теперь работают.

gag ★★★★★
()
Ответ на: комментарий от praseodim

Я только не понял достаточно ECC-память докупить или еще надо туда Xeon, вместо 3930k

Нужно ставить Xeon. Также очевидно, что ECC-память должна быть в каждом клиентском устройстве, которое что-то будет писать в направлении сервере.

anonymous
()
Ответ на: комментарий от anonymous

Кроме RAM на наличие ECC где-то можно явно повлиять?

praseodim ★★★★★
() автор топика
Ответ на: комментарий от gag

MyBook 12 TB за 175+ евро (3 года гарантии) против Ultrastar DC HC520 12TB за 270+ евро.

угу, домашняя какашка для разового копирования против энтерпрайз диска…

NiTr0 ★★★★★
()
Ответ на: комментарий от praseodim

Есть старая плата на 2011-м сокете с X79 чипсетом.

а на самой плате линии ЕСС присутствуют?…

NiTr0 ★★★★★
()
Ответ на: комментарий от NiTr0

домашняя какашка

Ну, это хороший вопрос насколько она ка…

для разового копирования против энтерпрайз диска…

Энтерпрайзная нагрузка и не планируется ведь.

gag ★★★★★
()

Зачем ECC для почти readonly NAS?

urxvt ★★★★★
()
Ответ на: комментарий от praseodim

Лет писЯт пролежат без проблем, стример на время найти тоже не проблема в будущем - до сих пор легко найти в продаже всякие дат из 90ых, правда б/у но для чтения не критично

rukez ★★★★
()
Ответ на: комментарий от gag

Ну, это хороший вопрос насколько она ка…

можете проверить. но не думаю что для переносной какашки, рассчитанной на лежание на полке, особо заморачивались со скоростью рандомного чтения-записи например, или с ресурсом…

NiTr0 ★★★★★
()
Ответ на: комментарий от NiTr0

Уже в проверке (стационарная круглосуточная лёгкая нагрузка и простой). Скорость позиционирования как у типичного 7200 об/мин. Хотя заявлены они как 5400 rpm class, но, оказалось, что ключевым словом тут является «class». Ресурс действительно хотелось бы побольше, но его никак не проверить заранее.

gag ★★★★★
()
Последнее исправление: gag (всего исправлений: 1)
Ответ на: комментарий от NiTr0

Да, всё так, но сама память ddr4 дороже чем ddr3 и если есть желание воткнуть побольше памяти(а zfs любит побольше памяти) и при этом подешевле, то это всё еще вариант. Если забить на zol, то да можно собрать на ам4 с 16Гб памяти и каком-нибудь ryzen 2200ge или 2400ge(35Вт, с интеграшкой)

cobold ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.