Software raid с раздельным redundancy

2 диска по 4тб...2 старых диска по 1тб
Полноценный рейд (даже 10) на этом не построишь

raid 10 - почему нет? Отпиливаем разделы на сколько нужно и из них собираем.

Потому что во-первых диски разные и по скорости и по возрасту. Размазывать данные по новому диску и 10-летней давности с бэд-секторами - такое себе. Ну и самое главное «the usable data area on each drive is equivalent to the capacity of the smallest drive» то есть из 4тб будут использованы только 1. Абсолютно бессмысленно, даже если не брать во вниманием ненужность parity для медиа-файлов.

Дома рейд - сомнительное занятие. Просто организуй две тачки (nuc, sinology, freenas, что угодно), на обоих raid0 или linear. Одна - мастер, другая - слейв. И бекапься rsync. Одну можно на работу поставить под стол, как я сделал, например.

Рейд он же должен увеличивать удобство замены диска. Когда у тебя их десятки, каждые пару месяцев вылетает один - годно. А дома оно не надо, и заменой бекапов не является, т.к. грохнется скорее из-за какого-нибудь программного бага.

Ну и самое главное «the usable data area on each drive is equivalent to the capacity of the smallest drive»

Внимательно читаем: «Отпиливаем разделы на сколько нужно и из них собираем.» Например по 1Тб от четверок + терабайтники. Оставшиеся 3Тб на четверках можно в raid 0 под ненужное.
Но:

с бэд-секторами

непонятно тогда зачем вы вообще их упомянули?

Отпиливаем разделы на сколько нужно и из них собираем.

Да, кстати, об этом я не подумал в таком контексте.

непонятно тогда зачем вы вообще их упомянули?

Они вполне себе работают. Бэд-сектора не растут, ошибками не сыпят. Но доверия в stripped массиве к ним нет. А вот как parity или для бэкапов их можно использовать вполне.

У меня дома вполне себе сервер от supermicro, списанный с работы. Там места на 12 дисков, и второй такой мне нафиг не нужен, а уж тем более готовый NAS.
Вообще, не стоило использовать в теме слово «raid», так как сама по себе redundancy мне не особенно то и нужна. Даже чтобы соединить диски я использую mergerfs, которая раскидывать файлы по дискам полностью, а не частями. По-сути, просто хочется продвинутую систему бэкапа с регулярной проверкой всех файлов котрольными суммами, и автоматическим сохранением важных файлов на другой диск.

Извините, но какая-то каша у Вас в голове :(.

Во-первых, RAID (даже избыточный) и бекап - совершенно разные вещи, никак друг друга не заменяющие и преследующие разные цели.

Задача RAID (на всякий случай, RAID0 не является настоящим RAID) - прежде всего, обеспечить устойчивость системы к отказ диска, гарантировать бесперебойность работы в таких условиях. Обратите внимание, о защите данных тут речи не идет. Если Вы сами случайно потрете какой-либо файл, либо станете жертвой вредоносных программ, RAID никак Вам не поможет.

Задача бекапа - защита данных. При этом совершенно не гарантируется бесперебойность работы и даже какое-либо минимальное время восстановления.

Возвращаясь к Вашей задаче - для начала определитесь, чего именно Вы хотите добиться. Если защиты данных, то решать эту проблему надо не созданием RAID, а установкой соответствующей системы бекапа (вариантов множество - от самописных скриптов до серьезных систем вроде Bacula).

rsync-ом по крону копировать нужные директории на мелкие диски, но там нет ни проверки чексумм, ни вообще никакой защиты от silent data corruption.

Ну так прикрутите соответствующие проверки. Делов-то на 5 минут...

Так что хотелось бы найти систему которая включает в себя и бэкап и регулярный data integrity-checking.

Посмотрите на BackupPC - мне кажется, для Ваших задач это будет оптимальным выбором.

Дома рейд - сомнительное занятие.

Что я только что прочитал???

Просто организуй две тачки (nuc, sinology, freenas, что угодно), на обоих raid0 или linear. Одна - мастер, другая - слейв. И бекапься rsync.

Ага, закат солнца вручную. Вместе со всеми проблемами в виже uer дисков и сетевыми проблемами.

Рейд он же должен увеличивать удобство замены диска.

Что я только что прочитал^2? Raid увеличивает локальную надёжность. А уж удобство замены диска - это косвенное преимущество в виде hotswap-корзинок и т.д.

Полноценный рейд (даже 10)

Построй raid mirror на zfs из 2х дисков. Чексуммы в raid1 есть, гоняй scrub раз в неделю, всё хорошо будет.

Давай просто раскинем мозгами, а не будем спорить.

Raid увеличивает локальную надёжность.

Raid увеличивает локальную надёжность накопителя(-лей). В домашних условиях есть факторы способствущие потере данных намного более реальные, чем низкая надежность накопителя. Можно начать с покупки юзером диска с одной и той же паллеты (которую грузчики могли успешно слегка долбонуть с погрузчика); и закончить кривым ASMedia sata контроллером, который перегреется в заваленном тапками и котами корпусе и убьет или проглючит накопители разом; где-то между располагается качество работы md-raid на дисках без TLER.

Поэтому геморрою с рейдом и бекапом я предпочту просто геморрой с бекапом.

(Ну, страйп предлагаю рейдом не считать, это не тот контекст)

uer

Я сам сторонник raid6 на сервере с большими данными. Но это накладывает определенные обязательства (регулярный чек, наличие запасного диска, отработанную систему замены диска, наличие слотов и количества дисков, в конце концов). Если это требуется дома, то этот кейз далек от нормального.

Я же предлагаю забить на рейд, да. И сосредоточиться на оттачивании процесса бекапов и восстановления из бекапов.

Пожалуйста, обоснуй свою позицию, уж.

А я предлагаю не устраивать закат солнца вручную и, чуть больше потратившись, использовать _и_ raid _и_ бэкап. Даже в домашнем применении.

Можно начать с покупки юзером диска с одной и той же паллеты (которую грузчики могли успешно слегка долбонуть с погрузчика)

Ага, на которой еще маркером подписано «для использования в домашних условиях». Но доля истины в вашем замечании есть, согласно народным приметам «десктопные харды из одной партии одновременно вылетают чаще чем серверные из разных» :)

и закончить кривым ASMedia sata контроллером, который перегреется в заваленном тапками и котами корпусе и убьет или проглючит накопители разом

«в заваленном тапками и котами корпусе» - конечно же единственное что может перегреться так это контроллер.

Не кажется ли вам, что когда человек задумывается о бэкапах/рэйде, то врядли он использует комп только для втыкания втектальник и другие непотребства. Вообще говоря формулировка «домашнее использование» сродни «офисное использование» нечто эфемерное не имеющее каких либо конкретных свойств. Но если уж на то пошло, то «домашнему использованию» скорее свойственны не регулярные бэкапы, так что профит в виде «непролюбливания данных в случае вылета харда» рэйд таки имеет.

Не кажется ли вам, что когда человек задумывается о бэкапах/рэйде, то врядли он использует комп только для втыкания втектальник и другие непотребства.

На моей памяти 3(!) вылета рейда5 у разных задротских людей с реально значимыми данными на них, находящихся дома. Два - по причине перегрева летом всей системы (но сдохли именно хранилища, что понятно, т.к. stateful подсистема), третий - по причине сдыхания второго диска (рейд5 был на 6 дисках кажется). Это было еще до того, как raid6 стало модным (в районе 2010, что не случайно - один случай был в то самое адское московское лето).

Если бы это была серверная с нормальной вентиляцией и слежкой за состоянием дисков - вероятность печальных исходов была бы меньше.

Люди, (зря) полагающиеся на рейды, склонны меньше внимания уделять бекапам. Я лишь заостраю на этом внимание, т.к. все кустарные применения рейдов довольно сомнительные по своей сути.

Ну вы и пример привели... raid5 «с реально значимыми данными» с летним пеерегревом, и еще лето 2010-го. Ваши примеры - примеры ССЗБ. «Знаю несколько примеров когда чел воткнул себе вилку в глаз. Не используйте вилки, они приводят к ухудшению зрения».

Люди, (зря) полагающиеся на рейды, склонны меньше внимания уделять бекапам.

Об этом речи и не шло. «Мухи отдельно, котлеты отдельно», Бэкапы само собой.