Software RAID всегда лучший выбор?

какие-то неубедительные доводы, про raid5-6 мне как-то пофиг, 10 наше все :)

По поводу заголовка - антифлеймовая цитата из текста по ссылке:
------------------
FAQ

Responses to specific points often made in soft-vs-hardware RAID discussions.

    * "Hardware RAID is always better."
      No solution is always better than another solution.
    * "Software RAID is always better."
      Ditto.
------------------

Жефф Газик слов на ветер не бросает! Если он сказал, что Software RAID рулит, то так тому и быть!

Мужики, может заодно подскажите: Ставлю CentOS 4.3 x86-64 на Software Raid level=1 (Mirror) Все ставиться нормально, но потом система не грузиться, только: >grub И все :( Где рыть ?

я бы сказал - часто лучший вариант
но чтобы _всегда_ - нет, я столько не выпью :)

"Софтовый" рэйд реально крут, Sun-ch'у респект.

Долбанное форматирование:

>grub

И все :(

Уж сколько раз твердили миру...

http://gentoo-wiki.com/HOWTO_Gentoo_Install_on_Software_RAID#Installing_Grub_...

Саныч запостил новость?

решил выбраться из "зомби"?

респект

> Мужики, может заодно подскажите: Ставлю CentOS 4.3 x86-64 на Software Raid level=1 (Mirror) Все ставиться нормально, но потом система не грузиться, только: >grub И все :( Где рыть ?

grub это какой-то ужоснах... я его так и ниасилил, хотя не очень то и старался. Так что, ставлю лило и не парюсь.

Теперь осталось ждать статью: "Безалкогольное пиво всегда лучший выбор!"

Как может быть софтовое решение лучше, чем аппаратное?

>>Мужики, может заодно подскажите: Ставлю CentOS 4.3 x86-64 на Software Raid level=1 (Mirror) Все ставиться нормально, но потом система не грузиться, только: >grub И все :( Где рыть ?

загрузиться с boot CD - rescue, и грубом пометить оба диска как загрузочные.

для пары сата дисков это будет так :

grub > device (hd0) /dev/sda > root (hd0,0) > setup (hd0) > device (hd1) /dev/sdb > root (hd1,0) > setup (hd1)

там в инсталл-скриптах глюк.

> Как может быть софтовое решение лучше, чем аппаратное?

В случае powered by linux - как нефиг делать, оверхэд для ЦПУ - единицы процентов. Плюс в случае нормальных чипсетов и ЦПУ от АМД - нет ограничений по шине, акромя пределов HyperTrasport'а, кои очень замечательно коррелируют со скоростью XOR'инга.

> Как может быть софтовое решение лучше, чем аппаратное?

скажите, а вы застали аппаратные переключатели на клавиатурах, меняющие раскладку с русской на qwerty и наоборот? =) я застал -- более того, и в том варианте, когда надо было:

1. отключить клавиатуру;

2. передернуть тумблер;

3. включить клавиатуру;

так что в том виде, как вы задали вопрос -- может и легко.

---vk

>Как может быть софтовое решение лучше, чем аппаратное?

Не КАК а КОГДА! Тогда когда нет денег на железный RAID, но RAID всё таки надо, для спокойствия. К тому же, софтверный RAID фиксится быстрее и дешевле железной мелкосхемы. Из собственного опыта могу сказать, что на моей памяти, ни один железный RAID (5,3) не смог восстановить все данные БЕЗ ПОТЕРЬ при сдохших дисках. Потому и пользуюсь обычным зеркалированием.

>ограничений по шине, акромя пределов HyperTrasport'а

А у тебя что, сказёвые контроллеры с интерфейсом HyperTrasport?

Сталкивался и с аппаратным и с софтверным.

Считаю, что аппаратное решение лучше. Прежде всего тем, что в случае аппаратной реализации снижается нагрузка на процессор(ы).
Понятно, что в современном мире это абсолютно не критично, но все же - в условиях очень сильно нагруженного SQL-сервера, когда настройками "выжимаешь" каждый процент производительности, тратить 5%-10% на софтверный рейд - непозволительная роскошь.

Преимуществ у софтвера 2:
1. Дешевизна. Хотя, если считать стоимость необходимой избыточности вычислительных ресурсов (то есть, более мощных процов), то еще смотря что дешевле.
2. Совместимость с Linux (аппаратные RAID далеко не все совместимы).

> единицы процентов

То есть это пофиг?:)

> и ЦПУ от АМД

ну это вообще тем для отдельного флейма:)

>>ограничений по шине, акромя пределов HyperTrasport'а

>А у тебя что, сказёвые контроллеры с интерфейсом HyperTrasport?

Sun-ch +1 !!! :) вместо RAID'офф продуманная система резервного копирования на не дорогие носители (ленточки, DVD, CD, MO), выигрывает в разы. Если конечно время не критично. А если критично, то SAN или NAS со встроенным RAID и ОС'ю ... тут уж Linux действительно не тягяться ...

> скажите, а вы застали аппаратные переключатели на клавиатурах

Нет, может быть даже к счастью. Первое что я застал это был keyrus под дос.

> вместо RAID'офф продуманная система резервного копирования на не дорогие носители (ленточки, DVD, CD, MO),

Эттааа.... Уважаемый, стыдно-с путать RAID (какой level, кстати?) и резервное копирование. Глупо очень выглядит.

Когда нет денег на железный рейд, эта статья может служить только успокоением типа "да, а них ведь медленнее и хуже!".

> Из собственного опыта могу сказать, что на моей памяти, ни один железный RAID...

Буду знать, очень интересно:)

Недавно жаловался сюда:

http://www.linux.org.ru/view-message.jsp?msgid=1509306

(кому интересно продолжение -- в понедельник начну с ядрами возиться).

Не знаю про Raid5-6-10, но железячный Raid0 сливает софтовому по полной!

> продуманная система резервного копирования на не дорогие носители (ленточки, DVD, CD, MO), выигрывает в разы. Если конечно время не критично.

А много интересно таких систем, где время восстановления после сбоя не критично? что-то не могу себе представить%)

> > ограничений по шине, акромя пределов HyperTrasport'а

> А у тебя что, сказёвые контроллеры с интерфейсом HyperTrasport?

А по какой еще шине, кроме HyperTransport, чипсет отдает данные на процессор? И уж что припаяли к самому чипсету - проц вообще не волнует.

Речь идет про контроллер дисков. А это pci/x-pci.

Как-то раз у нас загнулся контроллер, который крутил хардварный 5-й рейд на скази. Бэкап с него был, но недельной давности. Хреново, подумали мы. :( Но у нас стоял такой же контроллер в другом серваке! Думали, что проблема решится за 30 минут. Быстренько подключим исправный контроллер к массиву и сделаем новый бэкап! Здорово, подумали мы! :) Сняли его, вставили вместо убитого, включили, в биосе контроллера все прописали - не видит массив! :( Почему??? Да потому, что данные о массиве хранятся в coockies на eeprom убитого контроллера, и перезаписать их невозможно! Перепайка eeprom не помогла. Пришлось восстанавливать старый бэкап. Выводы делайте сами.

>А много интересно таких систем, где время восстановления после сбоя не критично? что-то не могу себе представить%)

Причем тут ВООБЩЕ резервное копирование, если, скажем, используется stripped raid?

К сожалению, RAID 5 на тех же 3ware или LSI (SATA/SCSI) в режиме записи работает медленнее SoftRAID 5 в лялихе. Поэтому мой выбор на ФС - SoftRAID.

> А по какой еще шине, кроме HyperTransport, чипсет отдает данные на процессор?

Ой, у меня ксеоны на серваках. Это что выходит у меня процессоры с чипсетом не обмениваются?

нуда, реалтек лучше интела.

> То есть это пофиг?:)

Конечно пофиг, 5% от одного проца на 4-5 дисковом raid5 и 4 процах в ящике. Пфе, это на погрешность измерения даже не тянет. Ибо гласит Единственная и Вечная Истина - "по мере роста, БД упирается вовсе не в проц, а в память и DiskIO".

> ну это вообще тем для отдельного флейма:)

Уже было, и Интель не котировался до последнего времени совершенно заслуженно :) Хотя из-за межпроцессорных HT-линков оптероны круче до сих пор.

>Из собственного опыта могу сказать, что на моей памяти, ни один железный RAID (5,3) не смог восстановить все данные БЕЗ ПОТЕРЬ при сдохших дисках.

ГЫГЫ... выглядело наверное это так:
поставили 3 винта в рэйд5, и забыли про сервер надолго, здох один винт - никто не почесался заменить, сдох второй. =) других объяснений у меня нет, почему рэйд пятого уровня не смог восстановить инфу.


ЗЫ народ, а есть решение для линукса чтобы сделать софтовый рэйд так что б он выглядел и работалось с ним как с хардовым, т.е. чтобы не надо былозеркалить партиции, а можно было зеркалить диски, и чтоб устройсво в результате появилось в системе типа /dev/md, и уж с ним система бы работала как с ОДНИМ винтом. вобщем чтоб было как(не пинайте ногами, но там это сделано имхо удобнее) в винде =)

>Пришлось восстанавливать старый бэкап. Выводы делайте сами.

Выводы очень печальные: куча посетителей ЛОРа не видит разницы между RAID и backup. При это не стесняются об этом рассказать всем остальным напотеху.

> по мере роста, БД упирается вовсе не в проц, а в память и DiskIO

Ага, тока иногда растет не БД, а количество запросов к ней:)

> Уже было, и Интель не котировался до последнего времени совершенно заслуженно :) Хотя из-за межпроцессорных HT-линков оптероны круче до сих пор.

ИМХО чушь маркетоидная. Дальше флеймить intel vs amd не буду:)

> ЗЫ народ, а есть решение для линукса чтобы сделать софтовый рэйд так что б он выглядел и работалось с ним как с хардовым, т.е. чтобы не надо былозеркалить партиции, а можно было зеркалить диски, и чтоб устройсво в результате появилось в системе типа /dev/md, и уж с ним система бы работала как с ОДНИМ винтом. вобщем чтоб было как(не пинайте ногами, но там это сделано имхо удобнее) в винде =)

А что разве в линуске подругому? Я когда мутил софтовый райд на фре через GEOM таких проблем не наблюдал, сами появились все партиции в /dev/mirror/gm0sxx

Да, такие вещи бывали, однажды после 3 недель ожидания привезли контр. с другой версией фирмваре. Нужно иметь 100% резерв, включая полный набор дисков и кабели.

>поставили 3 винта в рэйд5, и забыли про сервер надолго, здох один винт - никто не почесался заменить, сдох второй. =) других объяснений у меня нет, почему рэйд пятого уровня не смог восстановить инфу.

Хммм ну .. вы и фантазёр ... железо - Dell 6650, AMI MegaRAID, 5 дисков, ОС NetWare 5.1. После остановки шпинделя одного из дисков ... сервер помер. Замена диска привела к множественным ошибкам монтирования SYS: и других томов. Вот тебе и вывод.

>ЗЫ народ, а есть решение для линукса чтобы сделать софтовый рэйд так что б он выглядел и работалось с ним как с хардовым, т.е. чтобы не надо былозеркалить партиции, а можно было зеркалить диски, и чтоб устройсво в результате появилось в системе типа /dev/md, и уж с ним система бы работала как с ОДНИМ винтом. вобщем чтоб было как(не пинайте ногами, но там это сделано имхо удобнее) в винде =)

LVM ???

Уважаемый stellar разницу я прекрасно знаю. Но вот тратить лишние деньги , ради возможности сказать "у меня аппаратный RAID от Intel", не хочу. Я надеюсь Вам всё ясно.

> Речь идет про контроллер дисков. А это pci/x-pci.

Ставишь 4 PCI-E х1 двухканальных контроллера, на каждый по 4 диска и ужасаешься тормознутости сетевых карточек. В общем вопрос времени - пропускную способность шины уже убрали из узких мест, осталось подождать пока контроллерщики наклепают железяк.

> Ой, у меня ксеоны на серваках. Это что выходит у меня процессоры с чипсетом не обмениваются?

А я про оптероны ;Р Обмениваются конечно, но там вообще весь обмен через чипсет, включая ОЗУ => задержки, что не есть гут, а у атлончегоф - только с периферией, да и каналов HP может быть далеко не 1.

>ради возможности сказать "у меня аппаратный RAID от Intel", не хочу.

Только ради пенисоизмерения - нет.

Но только вот что-то плохо с примерами стораджей объемом более 10T на software raid...

Для детский песочниц типа MX на 100 юзеров с IMAP - да, проще поставить программный RAID, хотя бы для того, чтобы не бегать потом с квадратной головой если сгорит сам контроллер.

> ЗЫ народ, а есть решение для линукса чтобы сделать софтовый рэйд так что б он выглядел и работалось с ним как с хардовым, т.е. чтобы не надо былозеркалить партиции, а можно было зеркалить диски, и чтоб устройсво в результате появилось в системе типа /dev/md, и уж с ним система бы работала как с ОДНИМ винтом. вобщем чтоб было как(не пинайте ногами, но там это сделано имхо удобнее) в винде =)

А не пофиг что зеркалить? И то и то - блочные устройства.

> Ага, тока иногда растет не БД, а количество запросов к ней:)

Так по любому нарастим побольше голов :)

> ИМХО чушь маркетоидная. Дальше флеймить intel vs amd не буду:)

Забыли :) Но оптероны в SMP работают лучше, хоть по тестам, хоть как :)

> Но только вот что-то плохо с примерами стораджей объемом более 10T на software raid...

И есть пороги, после которых стоимость данных выше стоимости любого железа, посему и не заморачиваются и следуют привычными путями.

> Для детский песочниц типа MX на 100 юзеров с IMAP - да, проще поставить программный RAID, хотя бы для того, чтобы не бегать потом с квадратной головой если сгорит сам контроллер.

+1, в дисковый короб от суровых вендоров программный рейд не засунешь :)

Да всегда так было, четыре диска в корзинке 3=5RAID один на горячку + один диск на полке, чтобы заменить вылетевший.

А кто сказал, что IT должно быть дёшево? Похоже стали забывать, что любая сеть, любой сервер это затратная часть, а прибыль тут косвенная...

>Хммм ну .. вы и фантазёр ... железо - Dell 6650, AMI MegaRAID, 5 дисков, ОС NetWare 5.1. После остановки шпинделя одного из дисков ... сервер помер. Замена диска привела к множественным ошибкам монтирования SYS: и других томов. Вот тебе и вывод.

это говорит только о том что либо мегарэйд этот фуфло полное либо это как раз вы фантазируете. описанная вами ситуация должна решатся рэйдом без участия человека вообще в случае наличия хот-спае, и с минимальным участием человека (поставить новый винт) при отсутствии такового. и вот как раз мой опыт говорит о том что железные рэйды успешно с этим справляются. если вы считаете что при "остановке шпинделя" пятый рэйд не в состоянии восстановить данные, то наверное стоит освежить в памяти что такое пятый рэйд и как он работает.

не представляю себе как кто-то, кроме камикадзе может спокойно использовать raid0.

ИМО, риск слишком велик. Лучше уж 10. Или 5, как лучший по соотношению цена/качество.

> Как может быть софтовое решение лучше, чем аппаратное?

Может. Если лучше/оптимальнее реализовано. Посмотри в новостях про VmWare и аппаратную виртуализацию в современных процессорах (VmWare быстрее).