забацать софтовый RAID 1, сверху накатить ZFS

добавь третий полутрупик и сделай zfs raid-z

К сожалению, имею только два, а специально искать третий как-то странно :)

Тогда добавь хороший. Два этих всё-равно сдохнут скоро.

забацать софтовый RAID 1, сверху накатить ZFS

Софтовый raid-1 умеет сама zfs.

Добавлять тоже ничего не хочу. Вот есть два неприкаянных диска — мечтаю, чтобы дослужили верой и правдой сколько им там ещё отмерено и ушли на покой достойно, не заставив меня горько их оплакивать :) Допустим, как более-менее надёжная файлопомойка с прогнозируемым* поведением или как одна из ступеней резервного копирования данных.

*Я должен чётко понимать (и иметь возможность удостовериться), что если залил 100GB образ, то он там будет некоторое (какое?) время (в зависимости от чего?) в сохранности.

P. S. Так-то у меня под домашний архив есть NAS с RAID 1 и не дохлыми 2TB дисками.

Лучше еще их разделить пополам, и сделать рэйд из четырех огрызков. Тогда в случае выхода из строя одного, на втором случившйся бэд блок не сделает пушного зверька всем данным сразу.

Кстати, на raid'ах советую ставить reiser4 со сжатием и плюшками. Больше засунешь, т.к. zfs в нормальное сжатие не умеет.

Ага, я это уже начал подозревать :) Т. е. в общем и целом ход моих мыслей верный? Продолжать усиленно гуглить «ZFS» и не дёргаться? А после разворачивания просто мониторить: 1) логи этой ZFS на предмет несовпадений контрольных сумм файлов и 2) SMART'а?

Не, сжатие не интересует, только надёжность. Проц ещё поди грузить будет, а он на моём HP MicroServer не ахти какой шустрый.

логи этой ZFS на предмет несовпадений контрольных сумм файлов

Периодически делать zfs scrub yourpool

SMART'а?

Однозначно.

Больше засунешь, т.к. zfs в нормальное сжатие не умеет.

Чушь. Zfs умеет сжатие lz4.

Засунь свое lz4 откуда вынул. Оно _не применимо_ для блочной работы. Проверено неоднократно, годится только пустое место сжимать. Даже lzo лучше его.

Вы очередной альтернативно одарённый?

Не бздо, все нормально работает на ультранищебродском селероне n3050 (5 Ватт - ноутбучный).

А zfs выкинь, она - кака (только на линуксах, правда).

Нет, я тот, кто гонял тесты сжатия в блочном режиме. И как ни странно lzo обогнал и по степени сжатия и по скорости. LZ4 сделано для потоковой работы, где не надо много сжатия. Для хранения оно бессмысленно, процессору хватит мощи разжимать gzip на максимальной скорости ЖД.

Нет, я тот, кто гонял тесты сжатия в блочном режиме.

Результаты тестов покажи. Давай ссылку, не стесняйся.

Вот еще забавный результат: LZ4 плагин компрессии для Reiser4

Я разбивал файлы на 64к блоки и гонял на них архиваторы. Высчитывал процент по общему размеру файлов. При желании осилишь повторить эксперимент.

Что за дичь? Твои экзерсисы не имеют никакого отношения к сжатию данных в zfs. Я, в отличии от тебя, не измеряю член линейкой с последующей интерпретацией результатов на весь окружающий мир, а использую zfs в продакшене и lz4 для сжатия и повышения скорости чтения-записи очень-очень хорош.

Лучше еще их разделить пополам, и сделать рэйд из четырех огрызков. Тогда в случае выхода из строя одного, на втором случившйся бэд блок не сделает пушного зверька всем данным сразу.

Это хороший способ задрочить уже полуживые диски до мертвого состояния.

А ты шутник.

munin сгодится как легкий мониторинг СМАРТ и кучу всего другого.

Если промахнутся мимо начала блинов, то да. Мне приходилось так извращаться, так что теперь я знаю, что на сигейтах так делать нельзя ( у них блоки разделены по головкам и пластинам странно, А на WD удалось так разделить, что диск вообще не папрягался)

О, полудохлые сигейты ;)

Надо взять себя в руки и решительно выкинуть каку. Суть в том, что у таких сигейтов в состоянии «куча ремапов» поведение становится сильно непредсказуемым, т.е. диск может начать, наткнувшись на нечитаемый сектор, впадать в ступор до переключения питания. Или вовсе перестать выходить в готовность. При этом никто не даст гроша за то, что второй диск не начнет вести себя так же, когда с него придется читать полностью все «важные» данные. Но… Если данные на самом деле не важны, то можно погуглить способы приведения таких дисков в чувство после того, как у них полностью забивается g-list, потом запустить любую сканировалку скорости чтения и разбить диски так, чтоб использовать только области, где эта скорость имеет приемлемые значения. Но… совет выкинуть каку все ж на мой взгляд самый в этой ситуации разумный.

что странного там?

Обычная змейка 012345543210012345… кусками по нескольку десятков Мб по каждой голове

Эти куски разбросаны поочередно по всем четырем головам. А у WD оказалось что линейно для каждой пары голов.

Т.е. половина диска от начала на первой паре голов, на второй соответсвенно вторая половина.

мечты, мечты…

Единственный способ не оплакивать — не хранить там ничего вообще. Я писал выше. Еще неплохо помнить, что в режиме простоя у них работает самосканирование поверхности, то есть триггер может сработать вообще на ровном с виду месте. Хочется высокой вероятности граблей и секса — ну велкам, чо…

ерунда.

Сколько я ни делал карт для чтения по головам, всё у них одинаково, с начала до конца все головы равномерно уменьшающимися полосами. А откуда, кстати, сведения, что именно вот так?

Ты пишешь какую-то дичь не разбираясь в вопросе.

Да, у вас там по умолчанию при сжатии блок размером 128к. Это что-то сильно меняет?

Подобные тебе «свидетели ZFS» надоели. Успокойся уже, и пойми что у всего есть своя ниша. И zfs у меня прекрасно работает на файловом ханилище в raidz1 режиме. Только у меня там кетайский ксеон с 32ГБ ECC памяти. ZFS сильно нагружает процессор, особенно в raid-режимах. Ее место - в глубоком энтерпрайзе, где надо хранить большие массивы данных. Ей не место на двух полудохлых дисках.

З.Ы. рейзер всё-равно жмет лучше. Ужимает /usr/portage до 60МБ

Конечно, черный ящик я не могу точно проанализировать, но это было определено косвенно по скорости считывания. Линейное чтение ~70МБ/с. линейное чтение одновременно с начала и с половины диска - то же самое. Но если убежать одним потоком вперед на какой-то чертов мегабайт, диск начал трещать и тормозить.

Так при чём тут головы по отдельности?

У них убитые куски случаются на разных головах также. А чтоб изучить черный ящик, достаточно немного усидчивости, питона, инета и конвертора uart-ttl ;)

При том, что сигейт при таком-же тесте изображал музыкальный инструмент. Хз что там такое сделано...

И zfs у меня прекрасно работает на файловом ханилище в raidz1 режиме
ZFS сильно нагружает процессор, особенно в raid-режимах

а ты не только ламер, но и пизд&бол оказывается

Выкинуть это слишком быстро и просто :) А как же спортивный интерес (вдумчивый, естественно)? Пока дышат, дадут мне возможность поизучать ZFS — уже польза.

Кстати, никаких конкретных предложений, отличных от моего же стартового предположения, для решения указанной задачи до сих пор ещё не поступало. Не умеют люди абстрагироваться :) То выкинуть предлагают, то сжатие зачем-то применять :) Надо было изначально формулировать задачу как «сижу на необитаемом острове, есть два полудохлых диска и нужно как можно дольше и лучше на них хранить важную для всего человечества информацию» :)

Потому что кроме zfs, с чексумами блоков и автокоррекцией, и нет вариантов в твоём случае. Можешь вместо зеркала потыкать параметр ditto blocks - количество копий блока в пуле устройств.

Понимаешь, то, что является большой нагрузкой какому-то I7, не сильно-то и грузит 12-ядерный Xeon. И да, там мне нужна ZFS из-за ее фич. Но тыкать ее где-то на полудохлом железе - бессмысленно, огребешь головной боли только.

mdadm + nilfs

Самое интересное что придумать можно, + хорошие чексуммы и возможность легкого восстановления.

Посоветую Btrfs. Чтобы уж наверняка.

блаблабла

Это всё замечательно, только вот zfs не является сколь либо большой нагрузкой и какого-нибудь вшивого селерона или пентиума g серии хватит за глаза.

Она немного какашка. И супер-слоупок на обычных дисках.

А nilfs?

Она надежнее. И нормально работает у меня на диске. Оч удобно загружаться с любого снапшота на выбор. И скорость записи нормальная.

Мне больше всего нравится ее работа на дисках с бэдами. Ни разу не падала от них.

«Бэд» - это переназначенный блок адресуемого пространства носителя в резервную область. Кроме увеличения времени доступа при линейных чтении и записи данных он ничем не отличается от «хороших» блоков. Другое дело настаёт, если бэд-блоков столько накопилось, что резервной области для них уже не хватает: при попытках чтения записи обращения к диску заметно тормозиться на секунды или даже минуты. В этом случае диск действительно использовать не следует и лучше заменить. Однако, NTFS и ZFS нивелируют и эти проблемы, так как обладают механизмом определения бэд-блоков и на своём уровне замещают аппаратную адресацию «плохих» блоков программной обработкой.

Именно невосстановимые поврежденные сектора я и имею в виду под бэд блоками. Только дело в том, что если они уже известны, практически все ФС умеют их обходить (fat,ext2-4,btrfs,reiser3-4,zfs,ntfs,nilfs,ufs)

Но! Что с этими ФС будет, если блок ВНЕЗАПНО сдохнет, в момент чтения? Вот в чем вопрос с сигейтами. Они очень любят так делать.

В общем воткнул в свой HP Microserver (AMD Turion II Neo N40L Dual-Core Processor; RAM 2GB ECC) два НЖМД в дополнение к основному, на котором стоит Ubuntu Server 16.04.2. И понеслась:

sudo apt install zfsutils-linux
man zpool
man zfs
sudo zpool create -f zfspool mirror /dev/sdb /dev/sdc
sudo zfs create zfspool/trash
sudo zfs create zfspool/trash/important
sudo zfs set copies=2 zfspool/trash/important
sudo zfs compression=lz4 zfspool/trash/important

Всё быстро и здорово, однако остаётся вопрос, куда срёт ZFS если обнаружит нарушение целостности данных? В /var/log/syslog? Кто даст ключевое слово для grep?

Радует одно,

Пока не перевелись люди с таким оптимистичным подходом к жизни и любимым данным, у нас не переведутся клиенты ;)

Теоретики в треде, хе

А ничего, что сплошь и рядом это бывает не«даже минуты», а полное превращение устройства в тыкву — как повезёт, или до цикла питания, или до вмешательства с починкой служебной области? Не встречал? А у человека все шансы.

Каждый раз общаясь в этих ваших интернетах всё более убеждаюсь, что по большей части люди ведут какой-то внутренний монолог со своими мыслями, вместо диалога с собеседником :)

Где?! Где вы увидели мой оптимистичный подход? Если бы он был, то и темы этой не было — я бы втупую зазеркалил два диска и писал бы на них. Моя задача использовать два диска, по возможности, пока дышат. А заодно, потренироваться на них - изучить что-то для себя новое на практике, а не в теории. И первое, и второе я собираюсь делать осознанно. Значение слова осознанно, надеюсь, не нужно пояснять?

В любом случае спасибо за участие в теме: если не мне, то кому-то другому ваши предостережения и, в общем случае, мудрый совет выкинуть сбойные диски во избежание, пригодятся.

Когда дело доходит до reallocated sector, гермоблок уже достаточно изрядно покрыт пылью от разрушенного магнитного покрытия и дальше деградацию вряд ли остановишь.