Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs

Что значит по нулям и есть бэды? Вы или что-то не то или как-то не так или где-то не там смотрите.

имхо «тёплый ламповый звук» нервно курит в сторонке. :)

Т.е. это 5 перестроений массива.

ну да.

А потом чего? Свободное место станет частью того же раздела?

если ты сделаешь пул на партициях, то тебе придется их расширять самостоятельно.
если в пул отдавать диск целиком, то zfs сама все разрулит.

Потому что перераспределения не было, а нестабильные сектора появились. Reallocated_Sector_Ct=0, Current_Pending_Sector=4, Offline_Uncorrectable=12. Поверхность я давно не сканил, но для меня это все равно бэды.

сейчас мне очень нравится zfs с томами и l2arc кешем на ssd.
тома два - один с бОльшим сжатием, другой с меньшим. это очень удобно. плюс снапшоты встроенные, но пока не пользуюсь. хочу перетащить также корень на zfs.

Вот так отключается сон

Благодарствую.

Дискам мало что будет оставаться от чистого тока.

Ах вот оно что... Ну так, как ты советуешь, тут не получится. Данные на этом же компе и обрабатываться будут.

Или 2 блока в системник. Отдельный для hdd.

А вот это сомнительный совет. Как их вместе включать? Как согласовывать напряжение между ними?

Смотря какие цели преследуете.

* Сохранить данные
* Быстрая работа
* Расширяемость бы. Но, как я понял, так не получится.

zfs

Аргументы? Чем лучше? Расширять никак? Если mdadm+LVM, то там хоть как-то можно.

xfs офигенно летает через mdadm raid, в отличие от btrfs встроенного

Так сказали ж уже. Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий)

А чем лучше - почитай сам, очень много чем.

а куда торопиться?
2 бэда за 7.5 лет.
или ты думаешь, что если на диске появился бэд-сектор то ему каюк?
ошибаешься.

NAS на основе FreeBSD. И ZFS RAIDZ2 в качестве основного пула хранилища.

Нужно предусмотреть место для расширения пула ещё одним набором дисков, чтобы получить в будущем RAIDZ2+RAIDZ2 - пул удвоенного объёма.

Либо проектировать основной пул по схеме RAID-10 (два или несколько последовательных «зеркальных пар» дисков), с возможностью добавлять ещё одно зеркало из двух дисков в пул каждый раз, когда в этом будет возникать необходимость.

Если нужно RAID5/6, то ZFS.

Если нужно в будущем докидывать диски по одному и в целом иметь свободу перестроения массива, то btrfs.

mdadm говно.

Ты сам указал цель «Сохранить данные».

mdadm говно.

Почему? Тут наоборот хвалят за стабильность.

Ну да, стабильно говно :-)

Нуу это не серьезно, я думал там и правда бэды.

стабильное говно 😏

Между 5-м и 6-м разница в скорости и «сохранности». Быстрее менее «сохранен», медленее более «сохранен».

Расширяемость бы. Но, как я понял, так не получится.

Почему?

Чем сложнее конфигурация рейда, тем меньше его отказоустойчивость, не смотря ни на какую теорию. Поэтому - аппаратный контроллер с батарейкой, RAID10, ext4 или xfs по вкусу.

Ну да, стабильно говно :-)

Так почему? Есть личный негативный опыт? Не удалось пересобрать?

Он просто за все модное-молодежное и про большой прод слышал только в новостях, забей.

Любите играть в русскую рулетку? Или у вас там миррор кусочка интернета?

Почему?

Ну, в ZFS RAIDZ в принципе ничего добавить нельзя, как я понял. Поэтому получается mdadm+LVM и потом добавлять сразу пачкой.

аппаратный контроллер с батарейкой

И получаем единую точку отказа.

Какая ж это точка отказа, выкинул и такой же поставил, сторадж снова жив.

Ну тоесть не «аппаратный контроллер с батарейкой», а «аппаратные контроллеры с батарейкой».

в mdadm можно добавлять диски.

Так же, как нужно иметь и пачку дисков, и другое запасное железо, а лучше несколько серверов и кластерную фс, если даунтаймы неприемлемы. И что тут удивительного? Железо ломается, любое. «Даже» хваленое ынтерпрайзное.

в mdadm можно добавлять диски.

В RAID 6? Оно перераспределит данные?

Да, параметр --grow у mdadm

А лучше ещё одну серверную.

Зачем вам добавлять диски, если есть пирамида zfs? В zfs можно изменить геометрически весь массив, заменяя по очереди по одному диску. Ну или подключить дисковую полку, как уже написали.

тошибу все разом на помойку

всячески одобряю, все мои дископроблемы были так или иначе связаны с тошибами.

Не совсем понимаю, что тебя удивляет. Это всего лишь вопрос того, что в каждом конкретном кейсе дороже - отказоустойчивость или деньги. Пока отказоустойчивость важнее, на нее тратятся деньги до тех пор, когда ее уровень либо оказывается достаточным, либо потеря данных и даунтаймы становятся дешевле дальнейших затрат.

Зачем вам добавлять диски

Ну как зачем? Место закончилось. Если можно будет просто воткнуть один диск, то это замечательно.

если есть пирамида zfs?

Что за пирамида? ZFS не использовал ни разу.

заменяя по очереди по одному диску

Это как советовали выше Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий) ? Это надо будет сразу же купить ещё 5 дисков и 5 раз перестроить массив? Достаточно долго и может быть накладно.

Больше всего току жрёт процессор. Потому что в нём куча транзисторов. Дискам мало что будет оставаться от чистого тока. У процессора мосфеты есть, а у дисков нету.
бабёр выдыхай, спасибо - поржал!!11

Да, параметр --grow у mdadm

Хм... В принципе тут можно и LVM не использовать, получается? Просто сразу после перестроения массива делать ресайз файловой системы? И не делать слои, как советовал товарищ: Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий)

вот тут https://docs.google.com/presentation/d/1FeQgEwChrtNQBHfWSNsPK3Y53O5BnPh3Cz5nR...
пишут что уже сделали.
когда появится в продакшен коде zfs - хз.
но думаю скоро, т.к. эта фича востребована.

Суть: на mdadm создаешь подходящий тип raid, а с помощью lvm объединяешь созданные raid массивы в единый сторадж.

Оказывается, можно и средствами самого mdadm расширять: Как лучше хранить большой массив информации? mdadm / lvm / zfs / btrfs (комментарий)

Нет, я просто трезво смотрю на вещи, а вот «старость иногда приходит одна».

Нестильно, немодно, немолодёжно и нету простора для пердолинга. Конечно, говно.

пишут что уже сделали.
когда появится в продакшен коде zfs - хз.

Здорово. Но, видимо, у меня это будет уже в следующий раз.

Трезво смотреть на вещи - это понимать, что при всех плюшах btrfs и zfs, они практически не подлежат восстановлению в случае серьезного сбоя. Это вытекает из тех самых плюшек, т.е. переусложненности, кстати говоря. Потому сами по себе они могут быть сколь угодно прогрессивными, но при этом в лучшем случае пригодными для той же роли, что и более консервативные файловые системы.

Потому что не умеет в data integrity без костылей и разваливается от малейшего чиха.

еще раз
если ты думаешь что при появлении 1 бэда диск подлежит замене - ты сильно ошибаешься.

Диск подлежит замене при начале роста количества бб, причем это уже срочная замена с горящей жопой.

Если рассматривать вариант добавить/удалить диск - да.

Трезво смотреть на вещи - это понимать, что при всех плюшах btrfs и zfs, они практически не подлежат восстановлению в случае серьезного сбоя. Это вытекает из тех самых плюшек, т.е. переусложненности, кстати говоря.

тогда добро пожаловать в мир exFAT - проще некуда.😏

Просто xfs быстрее и мгновенно копирует файлы если они на одном разделе. Типа ссылки делает, а не пишет блоки

А что в xfs появилось CoW?