2 HDD, RAID 0 и RAID 1

Цель: В случае выхода из строя одного из дисков я гарантированно должен восстановить данные с RAID1 с «фото и документами»

Купить в pci-e плату на marvell 923x, воткнуть суммарно 4 диска и собрать zfs raidz2.

Да нормальный вариант.

Одни разделы собрать в RAID 1 - для фоток и документов (то что надо надёжно хранить).

Если случайно сотрешь, то сотрется с двух дисков. Лучше rsync'ом делать копию на "offline" диск

LVM использовать смысла нет так как добавлять диски некуда

LVM надо использовать всегда. Завтра воткнешь диск usb и сделаешь pvmove или что-то еще.

Для торрентов btrfs, чтобы можно было использовать диски разного размера (по мере поломки просто менять на больший).

Писать на DVD диски важную информацию.

Писать на ленты (надёжно).

Писать на USB диск.

marvell 923x

судя по тому что оно стоит <50$ это софтварный контроллер. я думаю лучше в топку, так как нагрузку на CPU не снижает, зато добавляет лишнюю точку отказа.
Тем более что у меня каких то предпосылок, в части объема хранения,для того чтобы покупать 4 диска нет.

Наверно приду к варианту RAID1 и (LVM | btrfs), из соображений чтобы можно было подсовывать диски любого объема на замену. И наверно склонюсь в сторону LVM ибо судя по wiki btrfs: «may eat your data». Да и профита от сжатия мелких файлов не будет за не имением онных. 20-30 файлов общим размером 50-60Гб :). Но всё же логика работы mdadm мне кажется более прозрачной нежели LVM. как там разъедется vg по физическим дискам хз а в RAID0 всё чётко и заранее известен прирост скорости за счёт организации хранения.

С btrfs будет более равномерный износ, а с LVM будет использоваться в основном первый диск (если не 90% занято).

в mini-PCIe купить SSD, мать эту жуткую выкинуть, купить три или более одинаковых диска побольше и на них натянуть btrfs raid5. Через пару лет допилят разные уровни на разные subvolumes - заюзать. Ценные данные снапшотить и бэкапить на другие хосты, остальное - снапшотить поменьше.

Ну или если btrfs-фобия, то RAID5+1spare, никакого LVM, ext4, корень на SSD и бэкапиться на что-нибудь гальванически развязанное и географически удаленное каждый день так, будто в последний раз.

Ну или если btrfs-фобия, то RAID5+1spare, никакого LVM, ext4, корень на SSD и бэкапиться на что-нибудь гальванически развязанное и географически удаленное каждый день так, будто в последний раз.

три или более одинаковых диска

И что покупать при поломке одного из них, если этой модели больше нет в магазинах? А если понадобится больше места, а денег сразу на три диска не хватает или просто некуда воткнуть такую кучу на время переноса?

мать эту жуткую выкинуть

мать эта в самый раз для того чтобы сделать на её основе полностью бесшумный домашний router/nas. В купленном под неё корпусе 3 места под HDD и меня это устрайвает. Я не собираюсь городить 5+1, ибо там не такой большой Disk IO чтобы ждать что диски будут валиться раз в месяц...

В части равномерности износа - тогда уж лучше взять raid0 - неравномерность оценивается как < chunk.size Опять же, учитывая то что всё это городится на разделах диска а не на дисках целиком, ни кто не заставляет брать точно такой же диск. Главное раздел такого же объема выгородить...

Это не raid-контроллер, а sata3-контроллер. mdadm не гарантирует целостности информации, а в zfs есть контрольные суммы.

в mini-PCIe купить SSD

вчера долго рыл это, но так и не нашел, только aliexpress/ebay

Вообще у меня текущий / сервера с торрентами живет на SD (SecureDigital) 8Гб и этого вполне хватает. Сами торренты качаются на HDD, при вылете которого он просто меняется и всё. Наверно продолжу такую практику с /, если конечно получится загрузится через USB CardReader. Скорость загрузки не важна совершенно ибо это происходит раз в пол года. Backup SD делать вообще красота, вынул SD и на настольном PC просто dd if= of= и всё, даже без сжатия.

как пишет wiki про zfs:

Пул построен из виртуальных устройств (vdevs), каждое из которых является либо физическим устройством, либо зеркалом (RAID 1) одного или нескольких устройств

так что может быть zfs поверх mdam raid1 для критичных данных, торренты на raid0. Как я понимаю, в такой конфигурации zfs даст понять что что-то с дисками не то, и пора бежать в магазин, не доводя дело до полного краха?

Только вот мне кажется CPU то не сломается такой сэндвич кушать? С другой стороны конечно данные туда сюда тягаться будут не часто, вопрос больше в хранении.

Zfs делать поверх mdadm/lvm не надо. Просто объединяешь партиции или диски в нужный тебе уровень и всё.

У меня на нескольких серверах / на mdadm raid1, а остальное место отдано zfs raidz2/z3

У меня на нескольких серверах / на mdadm raid1, а остальное место отдано zfs raidz2/z3

Читать как: «У меня на нескольких серверах / на mdadm raid1 на 8-10 дисках, а остальное место в виде отдельных партиций отдано zfs raidz2/raidz3»

Если я Вас правильно понял:
создать пул из разделов с каждого диска с типом mirror, при этом copies=2 делать не надо.
Вторые разделы с дисков(под торренты) просто в raid0 и всё.

Самое простое -

zpool create pool mirror wwn-0xaaaaaaaaaaaaaaaa-part2 wwn-0xbbbbbbbbbbbbbbbb-part2

Хотя, конечно, по уму надо сначала создать zfs, потом уже его нарезать.

Хотя, конечно, по уму надо сначала создать zfs, потом уже его нарезать.

чего то я теперь совсем запутался, в пул советуют добавлять GPT разделы,на сколько я понимаю там FS ни какой не должно быть или zfs и указывается это при разбивке (gparted-ом например)? после того как ты набил GPT разделов в пул, в пуле начинаешь нарезать уже FS для пользования. Более того, как написано в каком-то мануале,на пул уже можно писать файлы... Всё как в LVM почти, только там надо обязательно на VG тома клепать.

Красные глаза, я конпеляю собираю.

чего то я теперь совсем запутался

https://sites.google.com/site/selfmadenasfaq/home/nas_relative/zfs

Там советую ссылки «Русскоязычная интерпретация ZFS On-Disk Specification от Юрия Воинова»

Вторые разделы с дисков(под торренты) просто в raid0 и всё.

Под торренты mdadm raid0 для места. zfs для торрентов не комильфо, т.к. это CoW ФС, фрагментация большая будет при качании торрентов.

Напился - веди себя прилично

Все-таки расскажите на тему mdadm raid0 vs lvm stripe. Как добиться максимальной производительности?

Все-таки расскажите на тему mdadm raid0 vs lvm stripe

Что именно? Можно самому сделать как mdadm raid0 так и lvm stripe и прогнать тесты для проверки.

spare подключится сам; копить; проблемы с кучей не вижу.

вчера долго рыл это, но так и не нашел, только aliexpress/ebay

что ты несешь? в каждом первом магазине, man mSATA (полагаю, у тебя там именно оно). то, что ты там рыл, засыпь обратно.

на SD

были у меня компы для того-что-нельзя-называть на флешках, было весело. был даже raid0 из двух CF в сабноуте. только это все для некритичных сервисов, а не для твоего юзкейса.

Backup SD делать вообще красота, вынул SD и на настольном PC просто dd if= of= и всё, даже без сжатия.

пользователи снапшотов btrfs смотрят на тебя как на кроманьонца. да, можно погасить хост и забэкапить dd без сжатия, но ведь можно лучше и проще... даже когда я ставил нативный Debian на n800 в таких бэкапах не было смысла, так как rootfs.tar.xz создавался втрое быстрее и весил впятеро меньше. Для твоего случая это вообще бред.

Отличная схема разбивки. Про ZFS на атоме и <4 ГБ оперативки можно даже не заикаться.

Интересуют отличия этих двух подходов в плане организации хранения данных. Есть ли между ними серьезная разница в производительности?

на атоме

Это не атом, а вполне себе 4-хядерный целерон

<4 ГБ оперативки можно даже не заикаться.

Сколько отдашь в zfs_arc_max, столько и будет использоваться. 3 гига из 4х отдать - тоже отлично.

Есть ли между ними серьезная разница в производительности?

Не знаю, raid0 не сравнивал за отсутствием интереса.

мамка - 4х ядерный Celeron
памяти, ныне дешевой, 8 Гб...

что ты несешь? в каждом первом магазине, man mSATA (полагаю, у тебя там именно оно). то, что ты там рыл, засыпь обратно.

Вчера как раз убил кучу времени на выяснение... mSATA != miniPCI-e
на мамке как раз miniPCI-E,
диск надо искать именно mini-PCI-E

The mSATA (mini-SATA) interface appeared briefly for a generation of motherboards (such as the Maximus V series) and notebooks recently. mSATA SSDs follow the SATA specification, offering a maximum performance of 6Gbit/s and look much like mini-PCI-Express devices, but the two connectors are not inter-compatible. mSATA has been phased out an replaced with the better designed M.2.

пруф

А, ну тогда можешь даже и не искать. И с ali/ebay тебе тоже sata пришлют. Фигня эта мамка, бери нормальную.

miniPCI-e это более универсальный интерфейс нежели, mSATA.
выкинь своё выкинь.

Это в названии он целерон, а внутри обычный атом (во всяком случае в серверном сегменте этой линейки процов Интел честно называет все модели атомами, а не несёт пургу про целерооны и пентиумы): https://en.wikipedia.org/wiki/Silvermont

Судя по этой ссылке хотя бы не большая разница в производительности между атомом и J1900 есть...
опять же я брал это не под игры а под файлопомойку и маршрутизатор. Ящик получился абсолютно бесшумным, нету ничего движущегося(кроме HDD).

А вот тут говорят что это основано на Atom ссыль. Да в общем то плевать на чём оно основано, главно чтобы не шумело и данные отдавало без лагов :)

mSATA != miniPCI-e

Не совсем так. В miniPCI-e могут быть разведены дополнительные линии SATA (т.е. это будет miniPCI-e + mSATA), а могут быть и не разведены (обычный miniPCI-e)

диск надо искать именно mini-PCI-E

Таких не бывает.

в mini-PCIe купить SSD

Производитель нигде не упоминает поддержку mSATA, так вероятность 99%, что SSD там не заведётся.

можно, наверно, что-то такое взять http://www.amazon.com/Bplus-M2MU2-NGFF-PCI-E-Adapter/dp/B00KHMTAB6 под m.2 ssd. (По ссылке адаптер M.2 (NGFF) to mini PCI-E)

И этот адаптер магически добавит SATA-линий в разъём? Я не уверен, что мамка поддерживает NVMe (точнее, уверен на 99%, что не поддерживает)

а, точно. «allows user to use M.2 Socket SSIC-based WWAN Module to mPCIe Slot». Хрень.

Я вообще подумываю может быть взять что-нибудь типа miniPCI-E на SD а дальше как у меня и было SD... Вот как раз сама система настрайвается один раз(но целый месяц :) ) и на века...Если сдохнет SD - заменю да и всё.
Второй вариант: цепануть на порт USB, пины которого есть на матери флешку, и с неё грузится. дёшего и сердито. вчера купил флешку, на неё 5лет гарантии дают, скорость чтения 70МБ/с. Запись правда всего 12, но оно там и не к чему.

То есть PCI-E бывает, а mini PCI-E нет? Ну тогда взять «полноразмерный», адаптер и вперед.

Едрить, ты видел PCI-E SSD? Это PCI-E SATA/SAS-контроллер, к которому намертво припаяны SSD.

Вот, к примеру, схема Intel 910 PCI-e: http://static.selectel.ru/wp-content/uploads/2012/12/intel910.png

Ну ок, че. Формально он ведь все равно подойдет?

Формально - да, но сильно вещь в себе, большая, ДОРОГАЯ и со странным мониторингом. Ну про мелочи типа невозможностью с него загрузиться я умолчу :)

zfs для торрентов не комильфо, т.к. это CoW ФС, фрагментация большая будет при качании торрентов.

фрагментация??? Да вся суть COW основана на фрагментации, да фрагментация это проблема для классических ФС, но с чего вы взяли что фрагментация проблема для zfs?