Эксперимент с btrfs: 24 диска и 2 гигабита записи на них

1. Не знаю насчёт btrfs, но ext4 при заполнении до 100% страдает от фрагментации. она, конечно, не валится, но подтормаживает. По умолчанию 5% места зарезервировано для рута и такой проблемы с производительностью не возникает. Это на заметку.

2. ты либо пишешь данные последовательно на каждый диск (и остальные простаивают) либо пишешь на все сразу кусками и тогда при вылете любого диска ничего не восстановить, выше объяснили. Не надо все диски объединять в raid0. Только группами по столько, чтобы хватило пропускной способности.

3. Если нужна устойчивость типа «диск сломался, заменили, почти все данные целы» и простота, то озвученный выше вариант с aufs/unionfs/т.п. - самое разумное, имхо. А одна фс .растянутая через все драйвы - самое сомнительное решение. Да ещё с экзотической фс.

А смысл делать страйп из страйпов :)

Скорее, страйп из raid6. Смысл - в надежности в 2 диска с менее стремным количеством дисков в группе. Но не суть.

ну сдохнет все и хрен с ним, новый сбилдим

1. И часто дохнет? 2. Если все так просто, может нафиг raid6? raid0 из 16 - вперед! :)

Вообще, я только хотел узнать, норм ли работает raid60 на 16 дисках? Но вижу, у вас специфические задачи, это не критичные данные

raid6 это тоже страйп, с четностью.

у raid6 & raid60 одинаковая минимальная надёжность - потеря 3 дисков - пипец массиву. Насколько отличается вероятность отказа 3 из 16 против 3 из 8? Я уже не помню как это считается:)

Один раз сдох, и то из за отключения кондера в самый разгар лета, 2 винта умерли сразу, 2 в процессе ребилда. raid0 не пойдёт, отмазываться нечем будет если сдохнет.

Вообще 60 нормально работает, сначала он и был.

я не очень понимаю, как aufs или unionfs могут помочь в автоматическом выборе девайса для следующего создаваемого файла.

реально raid6 на 16 дисках? т.е. 14 + 2избыточных? Необычно для меня.

А чего нереального? Типовой конфиг. В симметриксе вон дают создать только 6+2 или 14+2, других конфигураций для девайсов R6 не предлагается.
Видел 14+2 на SATA, особых нареканий кроме высокой загрузки бэкэнд-директоров не было. Да и то только потому, что там зачем-то лежали данные, которые на SATA обычно не кладут.

Емц вообще советует райд5 в бестпрактис для своих масствов. Представляю разговор, что как же так, вылет 2 дисков и привет.

Ну какой-то алгоритм там должен быть. Если не подойдёт, то можно заставить софт писать на разные /mnt/storage* всё лучше, чем дохрена дисков под одним томом btrfs или lvm+ext4

Так вот как выглядят мужики с мифриловыми яйками

Если же это линейная запись, то и 3 диска пормально вытянут, это ведь всего 256МиБ/с

Во-первых, 2 Гбит/с - это 238.42 МиБ/с, а вовсе не 256. 2000000000÷8÷1024^2=238.4185791 Во-вторых, не 3, а 2 диска. Современные винты дают примерно 180 МиБ/с линейного чтения и столько же линейной записи.

вот об этом и речь. Делать свою систему хранения или пока рано

Разве btrfs не требует до 30% объема чисто для своих нужд?

Это в идеальных условиях и с краю блина.

Линейный доступ и есть идеальные условия. А в центре блина будет тебе ~140 вместо ~180, так что для двух Гбит/с всё равно пары винтов достаточно.

Ребилд идёт медленно

Какбэ в этом один из поинтов создания raid60, вместо большого raid6, помимо повышенной производительности.

у raid6 & raid60 одинаковая минимальная надёжность

нет, не одинаковая. чем больше n в nD + 2P, тем больше вероятность факапа.

Этот поинт не проходит проверку практикой — время ребилда raid10/raid5/raid50 на 16x72gb scsi 10k примерно одинаково, проверяли ещё лет 10 назад на hp ml370g5.

Короче, хочешь хорошо - делай сам

Ну я имел ввиду что в обоих случаях 3 винта минимум для похерить весь массив :).

чем больше n в nD + 2P, тем больше вероятность факапа.

Вот насколько больше? Как считается? Вот: 3 любых из 16 против (3 из этих 8 или 3 из тех 8), формулы можешь напомнить?

А по теме: как показала наша практика за 10++ лет — рейды под это дело не катят, надёжнее отдельные диски. На старых DM2 диски 8 лет отпахали в режиме круглосуточной записи, а на корзине за 3 года все 16 поменяли.

Короче, хочешь хорошо - делай сам

«Make it as simple as possible, but not simpler.» (A. Einstein)