Выбор ФС под много винтов

RAID + (опционально LVM) + ext4
LVM (с встроенным raid) + ext4

raid write hole в обоих случаях, а у ТС будут «неожиданные перезагрузки».
Так что ZFS, без вариантов.

И давно так?

а что, эту фичу недавно реализовали?

ТС, осознаешь ли ты, что использование малознакомой тебе технологии\фс (ну не просто так же ты тему создал) - это уже капец риск для сохранности данных?

А если это еще помножить на зоопарк ФС в линуксе, да каждая со своими особенностями и предрасположенностями.

В смысле зфс расширять нельзя?! Это же бред какой-то.

Намек на опыт работы по восстановлению данных?

Есть немного.

Ну может тогда не будешь лицемерить, а озвучишь, что в подавляющем большинстве случаев данные теряет что угодно (кривой контроллер, кривой софт, очень кривые руки), но никак не нтфс?

Если оскорбился - забей, и в мыслях не было. В подавляющем большинстве случаев, данные гробят люди. НТФС вполне себе, но не фонтан - винды при каждом ресете ресинкаться будут и фрагментация больное место. Но почему бы и нет. Мой комментарий на навороченность был о том, что чем больше шкаф, тем громче падает.

Да и отскребать от нее данные куда проще (и много чем можно), чем от всякой линукс-экзотики, не?

На всякой линукс-экзотике хранятся почти ВСЕ данные мира. Кроме небольшой части буков и компов с виндами - а их по сравнению с остальными устройствами немного. Если дома есть win-комп, win-бук с gsm-модемом, роутер, смарт-тв(или просто с allshare/dlna/dvb), пара смартофонов и планшет, то доля ntfs и виндов в этой одной отдельно взятой квартире будет 25%. На остальном стоит линь в той или иной вариации, и практически всегда ext2/3/4 ну или какой squashfs. Внимание, вопрос, на каких из перечисленных устройств, данные, бывает, портятся.

Если оскорбился

Ни в коем случае.

Я именно о том, что на лоре считается правилом хорошего тона обосрать нтфс при любом случае, и совершенно без аргументов. И рядом же громно стонать о выборе из зоопарка фс под линукс и связанного с этим геморроя.

На всякой линукс-экзотике хранятся почти ВСЕ данные мира

Я в курсе :)

Но кто данные то теряет? Не админы гугла\фб же (ну я вцелом), а домшние пользователи с шаловливыми руками. Так что твой же аргумент - многочлен о двух, как минимум, концах. Дай макаке ЗФС - он и под ней фоточки своего кота просрет. А у нормального линукс-админа - и нтфс не рассыпется.

Касательно же фрагментации: начиная с винн7 фоновый дефрагмент работает эффективно и незаметно.

Ну и про, собственно, восстановление данных: для нтфс есть решения от Ънтерпрайза до «одна кнопка „сделать зашибись“». И я вот, вовсе не гуру в теме, куче знакомых вытаскивал с их винтов\флешек кучу файла. И ни разу не наткнулся на глюк ФС. То форматнут, а потом плачут, то удалят, то перезапишут.

Аргументы против нтфс, на тот момент, что я ее помню - динамические тома не меняют размер, софтрейд дебильный и тормозной, нет управления процессом его ресинка, начало ресинка (а это любой чих) убивает иопсы хранилища в ноль, теневые копии не являются гарантированным хранилищем, периодически ТРЕБУЕТСЯ дефрагментация. Последняя может убить теневые копии.
Не путай неизбежную жпу и две руки пальцев выбора на все случаи жизни с причитаниями, что на выбранном ноготь не слишком красив.

Не админы гугла\фб же (ну я вцелом),

Ты админ гугла ? Ок, учту, когда в следующий раз будешь спрашивать, как комп в свитч воткнуть. ;)

работает эффективно и незаметно.

Ага, слабит, не нарушая сна. 200ГБ образ виртуалки или файл БД незаметно и эффективно дефрагментирует прямо во время активной работы, угу, конечно. Чудес не бывает.

до «одна кнопка „сделать зашибись“»

Винды усложнили настолько, что кнопки уже на экран сложно поместить, там уже тоже консоль во всю рулит. Их в недоюникс превратили.

куче знакомых вытаскивал с их винтов\флешек кучу файла

Эм, ногти все себе стригут, аппендицит почему-то не вырезают, хотя это элементарнейшая операция. Возня с win серверами от флешек примерно настолько же отличается.

Вообще, посмотри на не занятый системник с виндами, часто лампочка диска мигает ? У меня с 6 дисками, раз в 5-10 сек на долю секунды при активной работе. Диски с ntfs, вызывавшие тормоза в win7 (слышал анекдот про многозадачность?) которые я хотел выбросить еще года 4 назад, до сих пор нормально себя чувствуют в лине под ext4. Схожую ситуацию наблюдал многократно при переводе серверов на линь - дисковый io заметно ниже, железки начинают жить заметно дольше.В винде реально много лишнего хлама.

Так что твой же аргумент - многочлен о двух, как минимум, концах. Дай макаке ЗФС - он и под ней фоточки своего кота просрет. А у нормального линукс-админа - и нтфс не рассыпется.

Да, нет об одном. Я сказал «в основном данные гробят люди» какая разница, винда/линь/етц, если у человека талант, то он «один сломает, а второй потеряет». Верно и обратное. Но мы ведь об одном и томже сейчас, разными словами.

zfs (ZOL) raidz1 - примерный аналог RAID5, требует минимум 3 дисков

Вообще практический минимум - два диска, но это не имеет никакого смысла.

В смысле зфс расширять нельзя?! Это же бред какой-то.

Это в самом деле бред. Расширять можно либо заменой дисков на более емкие, либо добавлением новых устройств в пул:

# mkfile -n 64m /var/tmp/r0 /var/tmp/r1 /var/tmp/r2
# mkfile -n 128m /var/tmp/r3 /var/tmp/r4 /var/tmp/r5 /var/tmp/r6 /var/tmp/r7 /var/tmp/r8
#
# zpool create rz raidz /var/tmp/r[0-2]
# zpool list rz
NAME  SIZE  ALLOC  FREE  CAP  DEDUP  HEALTH  ALTROOT
rz    178M   251K  178M   0%  1.00x  ONLINE  -
#
# zpool status rz
  pool: rz
 state: ONLINE
  scan: none requested
config:

        NAME             STATE     READ WRITE CKSUM
        rz               ONLINE       0     0     0
          raidz1-0       ONLINE       0     0     0
            /var/tmp/r0  ONLINE       0     0     0
            /var/tmp/r1  ONLINE       0     0     0
            /var/tmp/r2  ONLINE       0     0     0

errors: No known data errors
#
# zpool get autoexpand rz
NAME  PROPERTY    VALUE  SOURCE
rz    autoexpand  off    default
#
# zpool set autoexpand=on rz
#
# zpool replace rz /var/tmp/r[03]
#
# zpool list rz
NAME  SIZE  ALLOC  FREE  CAP  DEDUP  HEALTH  ALTROOT
rz    178M   882K  177M   0%  1.00x  ONLINE  -
#
# zpool replace rz /var/tmp/r[14]
#
# zpool list rz
NAME  SIZE  ALLOC  FREE  CAP  DEDUP  HEALTH  ALTROOT
rz    178M  1.72M  176M   0%  1.00x  ONLINE  -
#
# zpool replace rz /var/tmp/r[25]
#
# zpool list rz
NAME  SIZE  ALLOC  FREE  CAP  DEDUP  HEALTH  ALTROOT
rz    370M  1.21M  369M   0%  1.00x  ONLINE  -
#
# zpool status rz
  pool: rz
 state: ONLINE
  scan: resilvered 47.5K in 1s with 0 errors on Sat Jan 25 6:40:57 2015

config:

        NAME             STATE     READ WRITE CKSUM
        rz               ONLINE       0     0     0
          raidz1-0       ONLINE       0     0     0
            /var/tmp/r3  ONLINE       0     0     0
            /var/tmp/r4  ONLINE       0     0     0
            /var/tmp/r5  ONLINE       0     0     0

errors: No known data errors
#
# zpool add rz raidz /var/tmp/r[6-8]
#
# zpool list rz
NAME  SIZE  ALLOC  FREE  CAP  DEDUP  HEALTH  ALTROOT
rz    740M  1.24M  739M   0%  1.00x  ONLINE  -
#
# zpool status rz
  pool: rz
 state: ONLINE
  scan: resilvered 47.5K in 1s with 0 errors on Sat Jan 25 6:40:57 2015

config:

        NAME             STATE     READ WRITE CKSUM
        rz               ONLINE       0     0     0
          raidz1-0       ONLINE       0     0     0
            /var/tmp/r3  ONLINE       0     0     0
            /var/tmp/r4  ONLINE       0     0     0
            /var/tmp/r5  ONLINE       0     0     0
          raidz1-1       ONLINE       0     0     0
            /var/tmp/r6  ONLINE       0     0     0
            /var/tmp/r7  ONLINE       0     0     0
            /var/tmp/r8  ONLINE       0     0     0

errors: No known data errors
#
# zpool add rz raidz /var/tmp/r[0-2]
#
# zpool list rz
NAME  SIZE  ALLOC  FREE  CAP  DEDUP  HEALTH  ALTROOT
rz    918M   870K  917M   0%  1.00x  ONLINE  -
#
# zpool status rz
  pool: rz
 state: ONLINE
  scan: resilvered 47.5K in 1s with 0 errors on Sat Jan 24 18:40:57 2015

config:

        NAME             STATE     READ WRITE CKSUM
        rz               ONLINE       0     0     0
          raidz1-0       ONLINE       0     0     0
            /var/tmp/r3  ONLINE       0     0     0
            /var/tmp/r4  ONLINE       0     0     0
            /var/tmp/r5  ONLINE       0     0     0
          raidz1-1       ONLINE       0     0     0
            /var/tmp/r6  ONLINE       0     0     0
            /var/tmp/r7  ONLINE       0     0     0
            /var/tmp/r8  ONLINE       0     0     0
          raidz1-2       ONLINE       0     0     0
            /var/tmp/r0  ONLINE       0     0     0
            /var/tmp/r1  ONLINE       0     0     0
            /var/tmp/r2  ONLINE       0     0     0

errors: No known data errors
#

Нельзя добавить больше дисков существующее устройство raid-z. Во всяком случае, нельзя на сегодняшний день.

для меня все ФС одинаково малознакомы, не поверишь, я даже их код не знаю!

http://docs.oracle.com/cd/E19253-01/820-0836/gcvjg/index.html
В настоящее время для конфигурации RAID-Z не поддерживаются следующие операции:

Присоединение дополнительного диска к существующей конфигурации RAID-Z.

Удаление дисков из конфигурации RAID-Z.

raid на lvm намного гибче.

И менее интуитивен, если я правильно понял идею:

• LV, объединяемые в рейд, придётся создавать на разных дисках и сделить, чтобы они на разных же дисках и оставались.
• чтобы разбить такой массив на тома, придётся либо на рейде создавать lvm/gpt/msdos, либо изначально диски бить на отдельные LV и создавать отдельные рейды

raid write hole в обоих случаях,

UPS надо иметь, да? Ну и плюс даже если факап случится, в метаданных рейда будет отмечено, что он не был корректно закрыт. И пойдёт проверка с восстановлением.

а у ТС будут «неожиданные перезагрузки».

Ты так написал, будто неожиданные перегрузки будут следствием упомянутой конфигурации. Сам-то точно знаешь что такое write hole?

Так что ZFS, без вариантов.

lol

LV, объединяемые в рейд, придётся создавать на разных дисках и сделить, чтобы они на разных же дисках и оставались.

По умолчанию и если хватает место, то lvcreate для мультиблочных разделов создаёт их на разных дисках.

чтобы разбить такой массив на тома, придётся либо на рейде создавать lvm/gpt/msdos, либо изначально диски бить на отдельные LV и создавать отдельные рейды

Я уже много лет все новые HDD сразу отдаю под отдельный PV. И уже потом с ним делаю чего хочу :) Зато добавление новых и удаление старых дисков проходит прозрачно. бОльшую часть операций вообще в онлайне делать можно. Самой старой из ныне живущих VG уже 8 лет. Начиналась она как 80+80+250Гб, а сейчас — 1T+3T+4T. Всего дисков сменилось с десяток. И система всё та же, а простой её за эти годы для переносов составил едва ли несколько десятков минут. Только на выключение на физическое перетыкание HDD.

Вообще, я начинал именно с raid (mdadm), но быстро (пару лет только просидел) забил из-за неудобств при расширениях и отсутствия надобности при наличии lvm.

практический минимум - два диска

какой на... минимум, от 2-х дисков начинаются массивы только у raid1 и raid0

UPS надо иметь, да?

zfs не завалить внезапными обесточками, если только для пущей производительности шаловливые ручки не вырубили параметр sync для zfs-пула.

Если же нам нужна 100% гарантия записи данных (неважно с признаком синхронности или нет), то можно выставить для пула sync=always, тогда всё будет записано в ZIL и уже ему необходимо обеспечивать сохранность данных при отключении электричества. Самый простой вариант - SSD с суперконденсатором, который при обесточивании позволит скинуть данные из RAM SSD на флэш. После восстановления электропитания и загрузки системы zfs автоматически выполняет replay ZIL, т.е. скидывает все сохраненные данные в пул.

расширять нельзя

можно заменить каждый из дисков raidz на больший

Ты так написал, будто неожиданные перегрузки будут следствием упомянутой конфигурации.

ТС где то выше сам упоминал, что у него будут неожиданные перезагрузки. Электричество у него, наверное, отключают.

Сам-то точно знаешь что такое write hole?

Угу. Ещё я знаю что у zfs raidz этой проблемы нет.

1. Диски делятся на «уже сломался» и «скоро сломается». Нужно часть дисков использовать для бэкапа.

2. LVM/RAID/etc. имеют смысл в тех случаях, когда что-то не влезает на один диск (необязательно база данных на 10ТБ, может быть и просто торрентопомойка). В большинстве случаев достаточно нечто типа «фильмы на один диск, всё остальное на другой».

А отказоустойчивость каким-то образом обеспечивается ?

zfs не завалить внезапными обесточками, если только для пущей производительности шаловливые ручки не вырубили параметр sync для zfs-пула.

Вот только за последний год мне уже раз 5 попадались «истории успеха» в этом форуме

да, а может это были тупые школьники, искушённые диаволом нашим местным?!

интересно, сцылочки можно, fuse не в счет

простой её за эти годы для переносов составил едва ли несколько десятков минут. Только на выключение на физическое перетыкание HDD.

хренасе зачем выключать-то?А мне приходится все обычные саташные на горячую добавлять и удалять без выключения.

да, а может это были тупые школьники

имею в наличии машинку с пулом, которую включаю и выключаю жестко нажимая кнопку на пилоте, ну хоть раз бы пул умер.

А отказоустойчивость каким-то образом обеспечивается ?

молитвой.

тут ничего сказать не могу. ни с чем из описанного не сталкивался.

Не админы гугла\фб же (ну я вцелом),
Ты админ гугла ? Ок, учту, когда в следующий раз будешь спрашивать, как комп в свитч воткнуть. ;)

И чего передергиваем русская языка? Что непонятного в том, что данные теряют, в основном, обычные люди, а не админы ресурсов хранящих «почти ВСЕ данные мира»?

Ты реально по лампочке об активности судишь что ли? Ну показатель, ч0.

Про и\о и прочее - много красивых слов и ноль конкретики.

Ладно, заканчивая этот флуд:
- само собой про нтфс был больше юморок, чем серьезно. я же знаю, что он на онтопике сидит
- второй мой тезис - лучше не доверять свои данные тому, в чем разбираешься еще меньше, чем в попсовых решениях
- как обычно - большинство ругающих нтфс ругают ее «в общем», а не за конкретику.

динамические тома не меняют размер

windows 8 уже умеет.

нтфс ругают ее «в общем», а не за конкретику.

+1

Ты реально по лампочке об активности судишь что ли? Ну показатель, ч0

Нет, она для красоты. Для сравнения на пальцах я конечно же буду давать инструкцию по организации тестового стенда.

Про и\о и прочее - много красивых слов и ноль конкретики.

тут ничего сказать не могу. ни с чем из описанного не сталкивался.

Где люди, где кони.

Хм. И в правду. На живых данных оно как ? Теневые грохает, надо полагать ?

На живых данных оно как ?

Отлично.

Теневые грохает, надо полагать ?

Без понятия.

Спасибо.

windows 8 уже умеет.

оно и дедупликацию уже могет? http://it-connection.ru/?p=1443

4 HDD и избыточность: RAID-10 или 2 раза по RAID-1?

выскажись тут лучше.

оно и дедупликацию уже могет?

Может быть, не пробовал. Я вообще к идее дедупликации отношусь с большим скепсисом.

Спасибо.

Не за что.

Раз свою позицию по поводу рейдов/фс имеешь, кто я такой, что б советы давать.

Классика лора.

Я вообще к идее дедупликации отношусь с большим скепсисом.

дедупликация имеет смысл на многопользовательской системе или для кучи виртуалок, на обычном десктопе незачем

к идее дедупликации отношусь с большим скепсисом.

сама идея очень годная, а вот годной реализации нет.

А отказоустойчивость каким-то образом обеспечивается ?

lvm умеет mirror.

хренасе зачем выключать-то?

Для пущей электробезопасности :) Всё же даже при SATA не всегда железо переносит горячее отключение/включение без сбоев. Хотя приходилось и так извращаться. А уж PATA...

при SATA не всегда железо переносит горячее отключение/включение без сбоев

впервые слышу о мифических сбоях, если только железо не древняя ветошь.

впервые слышу о мифических сбоях

Есть многое на свете, друг Горацио...

ext4 не многопоточная же.
Если хочешь классическую многопоточную ФС, то XFS твой выбор.

ахах http://lwn.net/Articles/476263/

Чтобы все 4 винта были единым пространством.

Я бы лично на такой конфигурации сделал всё в обычной ext4, а винты поделил бы по тематике, благо точки монтирования в линуксе позволяют это дело наращивать гладко и безболезненно.

Ни в коей мере не навязываю этот подход в качестве «единственно правильного» - просто лично мне так было бы спокойнее, особенно если часть винтов посыпется, и придётся спасать оставшееся. За БДФС тут ещё Луговской ратовал, прошло 13 лет, а во и ныне там...