LINUX.ORG.RU
ФорумAdmin

soft RAID 5 или 6?


0

2

По бедности нужно организовать софт-raid, логичным и более дешёвым (3 диска) кажется raid-5, но беспокоит скорость восстановления массива после замены выпавшего диска. Вот здесь http://habrahabr.ru/blogs/linux/111036/ товарищ назвал raid-5 нехорошим словом и сделал акцент на долгой пересборке массива. Вопрос, сколько времени займет пересборка raid-5 из трех дисков по 1Тб? Неужели при при прочих равных условиях raid-6 из пяти дисков пересоберется быстрее.

Вопрос, сколько времени займет пересборка raid-5 из трех дисков по 1Тб?

Время работы с самым медленным диском.

Неужели при при прочих равных условиях raid-6 из пяти дисков пересоберется быстрее.

В общем случае - примерно так же.

YAR ★★★★★
()
Ответ на: комментарий от YAR

Время работы с самым медленным диском.

Они одинаковые

В общем случае - примерно так же.

Понял, спасибо.

King_Diamond
() автор топика
Ответ на: комментарий от soomrack

Если есть bitmap, то восстановление быстрое.

Битмап можно хранить на отдельном маленьком hdd?

3 диска — raid6 делать не стоит.

raid-6 минимум из 5 дисков, как я понял.

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

Битмап можно хранить на отдельном маленьком hdd?

Да, но он должен быть доступен при сборке массива ядром.

raid-6 минимум из 5 дисков, как я понял.

Нет. Обычный вариант - 4 диска, хотя минимум - 3

YAR ★★★★★
()
Ответ на: комментарий от YAR

Битмап можно хранить на отдельном маленьком hdd?

Да, но он должен быть доступен при сборке массива ядром.

Мои измерения показали, что при использовании настроенной фс (ext4 или xfs) разница в скорости меньше процента для битмапа на диске и в оперативной памяти. Поэтому не еб* себе мозг и делай битмап на диске.

raid-6 минимум из 5 дисков, как я понял.

Нет. Обычный вариант - 4 диска, хотя минимум - 3

да, хотя можно извратиться и сделать 6 рейд на одном диске.

ТС:

1. не выделяй каждый диск целиком под один рейд. Разбей хотя бы пополам, а лучше на 3 части: (swap~объем RAM)-(fast~1/3диска)-(slow~остальное)

2. не забудь про выравнивание

3. используй большие чанки

4. правильно указывай опции создания и монтирования для фс, ибо там есть оптимизация под рейд.

5. sheduler — deadline, setra 2048

soomrack ★★★★★
()
Ответ на: комментарий от King_Diamond

raid-6 минимум из 5 дисков, как я понял.

4 диска.

RAID-6 часто сравнивают с RAID-10 (тоже из четырёх дисков). RAID-6 не так сильно убиваем, как RAID-10, но скорость никудышная.

iZEN ★★★★★
()
Ответ на: комментарий от soomrack

Мои измерения показали...

Я тоже как-то тестил - правда, между внешним и внутренним битмапом. Особо разницы не было.

да, хотя можно извратиться и сделать 6 рейд на одном диске.

Не взлетит :)

YAR ★★★★★
()
Ответ на: комментарий от soomrack

1. не выделяй каждый диск целиком под один рейд. Разбей хотя бы пополам, а лучше на 3 части: (swap~объем RAM)-(fast~1/3диска)-(slow~остальное)

2. не забудь про выравнивание 3. используй большие чанки 4. правильно указывай опции создания и монтирования для фс, ибо там есть оптимизация под рейд. 5. sheduler — deadline, setra 2048

Спасибо за рекомендации, буду учить матчасть. Ещё вопрос, если поверх raid я накачу LVM, это скажется на скорости и на геморности восстановления в случае смерти диска.

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

это скажется на скорости

Немного. Зато удобство в работе.

на геморности восстановления в случае смерти диска

За безгеморность в случае смерти диска у тебя отвечает RAID, LVM - более высокоуровневая прослойка, ей без разницы, что там с диском - был бы жив массив.

YAR ★★★★★
()
Ответ на: комментарий от King_Diamond

Ещё вопрос, если поверх raid я накачу LVM, это скажется на скорости и на геморности восстановления в случае смерти диска.

На скорости не скажется, если не забудешь о правильном выравнивании. А какие проблемы с восстановлением? У тебя же RAID. А если он рассыплется полностью, то хоть с LVM, хоть без него, не восстановишь ничего :)

GotF ★★★★★
()
Ответ на: комментарий от soomrack

sheduler — deadline

Категорично. Где-то были обширные тесты с разными комбинациями параметров и планировщиков, и deadline там вроде не блистал. Попозже могу попробовать найти ссылку, если интересно.

GotF ★★★★★
()
Ответ на: комментарий от iZEN

RAID-6 часто сравнивают с RAID-10 (тоже из четырёх дисков). RAID-6 не так сильно убиваем, как RAID-10, но скорость никудышная.

ИМХО, это информация сильно устарела. Причем как в случае хард рейда так и в случае софтового. RAID-6 генерирует более высокую нагрузку на процессор. Но для современных многоядерников это небольшая нагрузка. 4 винта, суммарная скорость записи в 6 рейде будет x2 ~ 140-280 MB/s (5400-10000rpm). Это на порядок ниже пропускной способности процессора. В случае 4х винтов скорость (при оптимальной настроке) будет одинаковая, что на чтение (x4), что на запись (x2).

soomrack ★★★★★
()
Ответ на: комментарий от GotF

Категорично. Где-то были обширные тесты с разными комбинациями параметров и планировщиков, и deadline там вроде не блистал. Попозже могу попробовать найти ссылку, если интересно.

У меня (raid10 на двух дисках -p f2) дает выйгрыш примерно на 5% по сравнению с cfq и noop.

soomrack ★★★★★
()
Ответ на: комментарий от YAR

За безгеморность в случае смерти диска у тебя отвечает RAID, LVM - более высокоуровневая прослойка, ей без разницы

Да, точно, сообразил уже :).

King_Diamond
() автор топика
Ответ на: комментарий от GotF

ссылка была в скрапбуке

Хорошая статья, просветляюсь.

King_Diamond
() автор топика
Ответ на: комментарий от soomrack

Как же меня это з*бало.

Не надо так эмоционально реагировать, я не хотел никого раздражать. То что для вас очевидно для меня пока не очень.

Как я понял, ты выделил на каждом из двух дисков по две равные партиции и сделал «raid-10»? Но это не 10 это ананистическая эмуляция.

King_Diamond
() автор топика
Ответ на: комментарий от soomrack

This offers striping performance on a mirrored set of only 2 drives.

Я понял, не знал о такой фиче. Я склоняюсь к RAID-5, с разбиением на несколько массивов (как ты предлагал выше) + LVM сверху. Из мат. ценностей у меня в наличии 4 hdd wd caviar black по 1 ТБ и одна ssd 128Гб. Систему поставлю на ssd, из 3-х hdd соберу raid-5, один останется на замену. Как то так...

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

Я так и не понял, за счёт чего получается Raid10 на двух дисках быстрее, чем Raid1? Не подскажите? Мне кажется наоборот, в случае когда сектора на втором диске находятся ближе к внутренней части диска, с них смысла нет считывать данные, так как это будет медленее (раза в два) чем читать с диска, у которого те же данные на внешних секторах.

Viper
()
Ответ на: комментарий от King_Diamond

Нормально. Но это от задач зависит. Я ставлю 1M.

soomrack ★★★★★
()
Ответ на: комментарий от iZEN

Помни об этом: http://en.wikipedia.org/wiki/RAID_5_write_hole

Убил. Как я понял при внезапном полном отказе диска вероятность этого явления очень велика. Так как на рейде будут лежать виртуалки, то при таком повреждении виртуальный диск (диски) придёт в негодность. Судя по сноске в конце статьи это баг также есть на raid-1 и raid-6. Получается безопасно можно использовать только raid-10.

King_Diamond
() автор топика
Ответ на: комментарий от iZEN

write hole проблема всё таки больше теоретического характера, погуглив не нашел описания реальных проблем, только предостережения.

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

Не в курсе.

А ты попробуй проведи для md RAID тесты, описанные здесь: Существенный прогресс в проекте ZFS для FreeBSD (комментарий) и здесь: Существенный прогресс в проекте ZFS для FreeBSD (комментарий)

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Намёк понял, BSD это хорошо, но там нет kvm, так что буду лишаться на linux. В рамках линукса посоветуйте FS для размещения виртуалок windows.

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

BSD это хорошо, но там нет kvm, так что буду лишаться на linux.

RAID, в общем случае, никак не связан с наличием/отсутствием KVM. Хранилище можно создать отдельно и расшарить по известным сторонним ОС протоколам.

В рамках линукса посоветуйте FS для размещения виртуалок windows.

XFS. Так как у неё есть xfsdump/xfsrestore для сохранения/восстановления образа ФС на живую.

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Так как у неё есть xfsdump/xfsrestore для сохранения/восстановления образа ФС на живую.

Как будто у ext* нету.

GotF ★★★★★
()
Ответ на: комментарий от King_Diamond

write hole проблема всё таки больше теоретического характера

Это проблема вполне реального характера, но, как пишут специалисты, она решается на уровне ФС, конкретно ext4 и XFS.

GotF ★★★★★
()
Ответ на: комментарий от iZEN

Хранилище можно создать отдельно и расшарить по известным сторонним ОС протоколам.

На имеющемся железе, на raid-5 с FS ext4 я получаю скорость чтения 350Мб/сек, скорость записи 280Мб/сек. Какое сетевое хранилище и на каких протоколах мне обеспечит мне такую скорость?

King_Diamond
() автор топика
Ответ на: комментарий от iZEN

По ссылке не ходил, но там врут.

~ > ll /sbin/{dump,restore}
-rwxr-xr-x 1 root root 181k Jun 11  2010 /sbin/dump
-rwxr-xr-x 1 root root 217k Jun 11  2010 /sbin/restore
GotF ★★★★★
()
Ответ на: комментарий от iZEN

Это прекрасные девайсы, но топик начинается со слов «по бедности нужно», так что будем придерживаться рамок linux и стандартных железок 5 по копеек за кубометр.

King_Diamond
() автор топика
Ответ на: комментарий от iZEN

dump работает, restore не пробовал. Я вообще предпочитаю rsync, так что…

GotF ★★★★★
()
Ответ на: комментарий от iZEN

XFS. Так как у неё есть xfsdump/xfsrestore для сохранения/восстановления образа ФС на живую.

Ты дал мне крайне вредный совет. Во-первых, скорость записи примерно в полтора раза ниже чем на ext4 с опциями монтирования по умолчанию. Во-вторых, внезапное отключение питания, приводит к неисправимым ошибкам fs и raid тут не поможет. Хорошо, что я проверяю все рекомендации. Спасибо, шутку оценил.

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

внезапное отключение питания, приводит к неисправимым ошибкам fs

Не-не-не, сама XFS очень устойчива к перебоям. Она просто заполняет нулями файлы, которые были открыты на запись.

GotF ★★★★★
()
Ответ на: комментарий от GotF

сама XFS очень устойчива к перебоям. Она просто заполняет нулями файлы

Как то так, виртуальные машины с этой «устойчиваой xfs» больше не стартуют, в файлах-образах действительно нули. Господа, как то это всё не серьёзно, если это админская ветка форума, давайте уважать друг друга, а не давать советы ради лулзов, нехорошо это.

King_Diamond
() автор топика
Ответ на: комментарий от King_Diamond

Во-вторых, внезапное отключение питания, приводит к неисправимым ошибкам fs

Сколько лет этой байке, интересно?

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Сколько лет этой байке, интересно?

Этой байке, на текущей момент, менше суток, так как я смоделировал все эти гемморои сам, на своём железе.

King_Diamond
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.