LINUX.ORG.RU
решено Форум — Admin  

Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs

 , , , ,


5

5

<UPD> Остановился на ZFS по следующим причинам:
* Попробовать интересно
* Контрольные суммы для данных, что должно повышать надёжность
* Это решение всё в одном. Например, ZFS знает, какие блоки принадлежат файлам, а какие свободные. Поэтому при сборке массива не надо ждать, пока по-XOR-ится свободное место, в отличии от mdadm.

Я попробовал mdadm, не увидел, чтобы с ним было быстрее. Возможно, это бы проявилось на SSD, но у меня обычные HDD. Да, в варианте с ZFS есть недостаток, что массив нельзя расширить просто добавив один диск. Но мне прямо сейчас оказалось не надо, это на будущее. А, как тут писали, скоро необходимое решение появится.

Всем спасибо!
</UPD>
-----------
Доброе утро, ЛОРчане!

Подскажите, как лучше организовать надёжное хранение большого объёма данных, с кучей файлов. Данных всего примерно 13 ТиБ, может быть чуть больше.

Их можно разделить на две группы:
* 8 ТиБ, примерно 450 000 файлов, размером в среднем от 10 МиБ до 25 МиБ. В 90% случаев они будут только читаться, в 8% дополняться, в 2% удаляться/перезаписываться. Данные уже сжатые, сжать лучше вряд ли получится.
* Примерно 5 ТиБ и около 5 300 000 файлов, очень разного размера, несколько сотен тысяч совсем мелких, по 5 КиБ, какие-то крупные, по несколько гибибайт. Эта группа будет активно обновляться, перезаписываться, удаляться. Тут, теоретически, данные сжимаемые, но не уверен, что это имеет смысл.

Для этого всего припасено 5 дисков TOSHIBA HDWG160, 6 ТБ (5.4 ТиБ).

Я планировал из них собрать что-то вроде программного RAID 6, т.е. полезный объём будет равен объёму только трёх дисков, 18 ТБ.

Что лучше для этого использовать? Собрать средствами mdadm/lvm и сверху разместить ext4 или использовать модные ZFS/BTRFS? Что более надёжно? Что расширяемо? Теоретически, может настать момент, когда объёма хватать перестанет. Смогу ли я добавить ещё такой же диск в массив не потеряв надёжность? Какой вариант будет легче/быстрее восстановить, если накроется один диск? А два?

Каких-то особых возможностей на данный момент не требуется, снапшотов, вероятно - тоже. Может быть, «версионирование» состояний некоторой части данных, для которого хватит скрипта, что будет создавать директории с датой в имени и хардлинки для файлов между ними. Но, если это будет происходить средствами ФС, то хорошо.

P.S.: Памяти 32 ГиБ, Error Correction Type: Multi-bit ECC, что для ZFS должно быть вполне хорошо.
P.P.S.: Может быть какой туториал посоветуете?

★★★★★

Последнее исправление: ls-h (всего исправлений: 3)
← Как сделать DNS-запрос принудительно plaintext'ом (без шифрований/DoT/DoH/etc)?
gitlab in k8s requirements →
  1 2 3 4
Ответ на: комментарий от Lordwind

Что значит по нулям и есть бэды? Вы или что-то не то или как-то не так или где-то не там смотрите.

anc ★★★★★
()
Ответ на: комментарий от Lordwind

имхо «тёплый ламповый звук» нервно курит в сторонке. :)

anc ★★★★★
()
Ответ на: комментарий от ls-h

Т.е. это 5 перестроений массива.

ну да.

А потом чего? Свободное место станет частью того же раздела?

если ты сделаешь пул на партициях, то тебе придется их расширять самостоятельно.
если в пул отдавать диск целиком, то zfs сама все разрулит.

Minona ★★☆
()
Ответ на: комментарий от anc

Потому что перераспределения не было, а нестабильные сектора появились. Reallocated_Sector_Ct=0, Current_Pending_Sector=4, Offline_Uncorrectable=12. Поверхность я давно не сканил, но для меня это все равно бэды.

Lordwind ★★★★★
()

сейчас мне очень нравится zfs с томами и l2arc кешем на ssd.
тома два - один с бОльшим сжатием, другой с меньшим. это очень удобно. плюс снапшоты встроенные, но пока не пользуюсь. хочу перетащить также корень на zfs.

darkenshvein ★★★★★
()
Ответ на: комментарий от daxoric128

Вот так отключается сон

Благодарствую.

Дискам мало что будет оставаться от чистого тока.

Ах вот оно что... Ну так, как ты советуешь, тут не получится. Данные на этом же компе и обрабатываться будут.

Или 2 блока в системник. Отдельный для hdd.

А вот это сомнительный совет. Как их вместе включать? Как согласовывать напряжение между ними?

ls-h ★★★★★
() автор топика
Последнее исправление: ls-h (всего исправлений: 1)
Ответ на: комментарий от anc

Смотря какие цели преследуете.

* Сохранить данные
* Быстрая работа
* Расширяемость бы. Но, как я понял, так не получится.

ls-h ★★★★★
() автор топика
Ответ на: комментарий от ls-h

xfs офигенно летает через mdadm raid, в отличие от btrfs встроенного

darkenshvein ★★★★★
()
Ответ на: комментарий от anc

а куда торопиться?
2 бэда за 7.5 лет.
или ты думаешь, что если на диске появился бэд-сектор то ему каюк?
ошибаешься.

Minona ★★☆
()

NAS на основе FreeBSD. И ZFS RAIDZ2 в качестве основного пула хранилища.

Нужно предусмотреть место для расширения пула ещё одним набором дисков, чтобы получить в будущем RAIDZ2+RAIDZ2 - пул удвоенного объёма.

Либо проектировать основной пул по схеме RAID-10 (два или несколько последовательных «зеркальных пар» дисков), с возможностью добавлять ещё одно зеркало из двух дисков в пул каждый раз, когда в этом будет возникать необходимость.

iZEN ★★★★★
()
Последнее исправление: iZEN (всего исправлений: 1)

Если нужно RAID5/6, то ZFS.

Если нужно в будущем докидывать диски по одному и в целом иметь свободу перестроения массива, то btrfs.

mdadm говно.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 2)
Ответ на: комментарий от Lordwind

Нуу это не серьезно, я думал там и правда бэды.

anc ★★★★★
()
Ответ на: комментарий от ls-h

Между 5-м и 6-м разница в скорости и «сохранности». Быстрее менее «сохранен», медленее более «сохранен».

Расширяемость бы. Но, как я понял, так не получится.

Почему?

anc ★★★★★
()

Чем сложнее конфигурация рейда, тем меньше его отказоустойчивость, не смотря ни на какую теорию. Поэтому - аппаратный контроллер с батарейкой, RAID10, ext4 или xfs по вкусу.

pekmop1024 ★★★★★
()
Ответ на: комментарий от intelfx

Ну да, стабильно говно :-)

Так почему? Есть личный негативный опыт? Не удалось пересобрать?

ls-h ★★★★★
() автор топика
Ответ на: комментарий от anc

Почему?

Ну, в ZFS RAIDZ в принципе ничего добавить нельзя, как я понял. Поэтому получается mdadm+LVM и потом добавлять сразу пачкой.

ls-h ★★★★★
() автор топика
Ответ на: комментарий от pekmop1024

Ну тоесть не «аппаратный контроллер с батарейкой», а «аппаратные контроллеры с батарейкой».

anc ★★★★★
()
Ответ на: комментарий от anc

Так же, как нужно иметь и пачку дисков, и другое запасное железо, а лучше несколько серверов и кластерную фс, если даунтаймы неприемлемы. И что тут удивительного? Железо ломается, любое. «Даже» хваленое ынтерпрайзное.

pekmop1024 ★★★★★
()
Ответ на: комментарий от ls-h

Зачем вам добавлять диски, если есть пирамида zfs? В zfs можно изменить геометрически весь массив, заменяя по очереди по одному диску. Ну или подключить дисковую полку, как уже написали.

anonymous
()
Ответ на: комментарий от daxoric128

тошибу все разом на помойку

всячески одобряю, все мои дископроблемы были так или иначе связаны с тошибами.

izzholtik ★★★
()
Ответ на: комментарий от anc

Не совсем понимаю, что тебя удивляет. Это всего лишь вопрос того, что в каждом конкретном кейсе дороже - отказоустойчивость или деньги. Пока отказоустойчивость важнее, на нее тратятся деньги до тех пор, когда ее уровень либо оказывается достаточным, либо потеря данных и даунтаймы становятся дешевле дальнейших затрат.

pekmop1024 ★★★★★
()
Ответ на: комментарий от anonymous

Зачем вам добавлять диски

Ну как зачем? Место закончилось. Если можно будет просто воткнуть один диск, то это замечательно.

если есть пирамида zfs?

Что за пирамида? ZFS не использовал ни разу.

заменяя по очереди по одному диску

Это как советовали выше Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий) ? Это надо будет сразу же купить ещё 5 дисков и 5 раз перестроить массив? Достаточно долго и может быть накладно.

ls-h ★★★★★
() автор топика
Ответ на: комментарий от daxoric128

Больше всего току жрёт процессор. Потому что в нём куча транзисторов. Дискам мало что будет оставаться от чистого тока. У процессора мосфеты есть, а у дисков нету.
бабёр выдыхай, спасибо - поржал!!11

pfg ★★★★★
()
Ответ на: комментарий от anc

Да, параметр --grow у mdadm

Хм... В принципе тут можно и LVM не использовать, получается? Просто сразу после перестроения массива делать ресайз файловой системы? И не делать слои, как советовал товарищ: Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий)

ls-h ★★★★★
() автор топика
Ответ на: комментарий от ololoid

Суть: на mdadm создаешь подходящий тип raid, а с помощью lvm объединяешь созданные raid массивы в единый сторадж.

Оказывается, можно и средствами самого mdadm расширять: Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий)

ls-h ★★★★★
() автор топика
Последнее исправление: ls-h (всего исправлений: 1)
Ответ на: комментарий от ls-h

Нестильно, немодно, немолодёжно и нету простора для пердолинга. Конечно, говно.

pinus_nigra ★
()
Ответ на: комментарий от Minona

пишут что уже сделали.
когда появится в продакшен коде zfs - хз.

Здорово. Но, видимо, у меня это будет уже в следующий раз.

ls-h ★★★★★
() автор топика
Ответ на: комментарий от intelfx

Трезво смотреть на вещи - это понимать, что при всех плюшах btrfs и zfs, они практически не подлежат восстановлению в случае серьезного сбоя. Это вытекает из тех самых плюшек, т.е. переусложненности, кстати говоря. Потому сами по себе они могут быть сколь угодно прогрессивными, но при этом в лучшем случае пригодными для той же роли, что и более консервативные файловые системы.

pekmop1024 ★★★★★
()
Ответ на: комментарий от ls-h

Потому что не умеет в data integrity без костылей и разваливается от малейшего чиха.

intelfx ★★★★★
()
Ответ на: комментарий от ls-h

Если рассматривать вариант добавить/удалить диск - да.

anc ★★★★★
()
Ответ на: комментарий от pekmop1024

Трезво смотреть на вещи - это понимать, что при всех плюшах btrfs и zfs, они практически не подлежат восстановлению в случае серьезного сбоя. Это вытекает из тех самых плюшек, т.е. переусложненности, кстати говоря.

тогда добро пожаловать в мир exFAT - проще некуда.😏

Minona ★★☆
()
Ответ на: комментарий от daxoric128

Просто xfs быстрее и мгновенно копирует файлы если они на одном разделе. Типа ссылки делает, а не пишет блоки

А что в xfs появилось CoW?

no-such-file ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
  1 2 3 4
← Как сделать DNS-запрос принудительно plaintext'ом (без шифрований/DoT/DoH/etc)?
Admin
gitlab in k8s requirements →