нет

Это уже LVM + SoftwareRAID.

ИМХО, и то, и другое существенно тормозят дисковую подсистему

>существенно тормозят дисковую подсистему

Ась? Существенно это сколько?

Не измерял. Скорость та же, но задержка выше и заметна на глаз. Опять же, ИМХО, т.к. не измерял.

с этим обстоит жопа, striped mirrors есть в роадмапе. пока я видел реализацию raid10 средствами LVM только в AIX.

Теоретически можно создать pv поверх LVM, но практически это может потребовать переписать initramfs.

Тормозные страйпы.

>Это уже LVM + SoftwareRAID.

>ИМХО, и то, и другое существенно тормозят дисковую подсистему

RAID-0 тормозит дисковую систему шо пэстец. Ню-ню.

Не передёргивай слова. Програмный RAID 0 будет тормозить по сравнению с аппаратным RAID 0, и только. Любой дополнительный программный уровень абстракции - дополнительные тормоза

Богопротивное железо.

>Програмный RAID 0 будет тормозить по сравнению с аппаратным RAID 0, и только. Любой дополнительный программный уровень абстракции - дополнительные тормоза

На помойку ваши богопротивные hardware RAID-контроллеры, от них только несовместимости и головная боль. Сильное торможение software RAID -- миф.

>На помойку ваши богопротивные hardware RAID-контроллеры, от них только несовместимости и головная боль. Сильное торможение software RAID -- миф.

ага, попробовал тут соорудить страйп поверх зеркал (собственно топик), под нагрузкой sys ниже 30% не опускается :)

На программном или аппаратном?

Какой проц? У меня на кваде LVM поверх RAID5 ни фига не медленный, и нагрузка от него практически незаметна. До этого та же система крутилась на Celeron 2200, пока мать не сдохла.

c2d 1.6, причем тут LVM поверх raid5? я сделал ровно так как в топике: 2 зеркала средствами LVM, поверх них страйп средствами LVM

объяснение в студию.

>я сделал ровно так как в топике: 2 зеркала средствами LVM, поверх них страйп средствами LVM

Начну с того в что в топике ничего такого нет, вопрос о зеркалировании и страйпировании (логопеды, поправьте) силами LVM2.

И как трактовать sys в 30 %? Может у вас железо какое-то "волшебное"? У меня ничего подобного не наблюдается.

>Начну с того в что в топике ничего такого нет, вопрос о зеркалировании и страйпировании (логопеды, поправьте) силами LVM2.

толи вы вопросы задавать не умеете, толи здесь никто читать не умеет:

>Может ли, например, LVM2 и страйпить, и зеркалить, как в RAID-10?

raid10 - логически предстваляет собой страйп зеркал, raid01 - логически представляет собой зекало страйпов, и хотя вроде бы разницы между ними с первого взляда и не видно, но они отличаются: у raid10 FT выше. Линуксовый LVM сейчас умеет делать только либо страйп, либо зеркало, либо linear (хз как переводится), но в роадмапе поддержка raid10 заявлена. INFOMAN, заявил, что пожно поверх LV сделать PV а потом опять LV и тем самым получить RAID10 или RAID01 (зависит от последовательности действий), но при этом получается здоровенная такая нагрузка. Обсуждать какое у меня железа смысла не имеет, потому что нагрузка возникает так или иначе вне зависимости от частоты процессора и скорости дисков, просто потому что она возникает и возникает очевидно из-за чего.

Для справки: в AIX LVM умеет делать raid10, в солярисе (там правда не lvm, а подругому зовется), есть возможность делать raid01

Не те буквы.

Пардона прошу, не так прочитал.

Всё же sys, что это за нагрузка? Я пока более менее представляю себе что такое idle и I/O wait.

>... можно поверх LV сделать PV а потом опять LV и тем самым получить RAID10 или RAID01 ..., но при этом получается здоровенная такая нагрузка.

Можно и Саныча дверью прищемить.

>Обсуждать какое у меня железа смысла не имеет

Отчего же?
Было 4 диска? Ты распределил по PV все как полагается?
Или ты на одном диске "пробЫвал"?

> Всё же sys, что это за нагрузка?

это время, потраченное процом в контексте ядра.

У мну софтворные рейды работают отлично что на фряхе что на линухе. Правда, главным образом raid1. Каких-либо существенных потреблений ресурсов при тестировании не заметил.

Даже рейд-5 есть на 8 хардов. Вот он может sys нагнать 30-40% при потоковой записи мегов под 90 в секунду на раздел. Но, при современных многоядерных процах мне на это наплевать :). Проще проц помощнее купить чем ещё одну железку баксов под 800добавлять.

>Проще проц помощнее купить чем ещё одну железку баксов под 800добавлять.

у вас наверное и сетевухи без tcp offload, и об ssl ничего не слышали

Те буквы.

Что такое TCP offload я ещё догадываюсь, а что в данном контексте означает SSL?

существую карты которые SSL offload поддерживают, вполне так спасают сервер от использования cisco ace и прочих альтеонов

> у вас наверное и сетевухи без tcp offload, и об ssl ничего не слышали

Когда нечего сказать по теме некоторые люди начинают меряться железками/зарплатами/длиной/whatever. Ты не знал что в линухе tcp offload не встречается кроме пары фишек типа TSO/LRO? :).

> существую карты которые SSL offload поддерживаю

и ты их, конечно же, купил такую на савёловском рынке, вставил в свой просторный midtower, поставил дрова на свою любимую ОС и всё теперь со свистом работает? :)

я не Ъ и на савеловском комплектуху увы не беру, все больше с HP/IBM приходится работать.

если вы считаете что софт-рейд нагружает процессор несильно, считайте, вас никто заставлять не будет, только вот реальные задачи требуют, чтобы побочные факторы в виде непонятно откуда взявшихся нагрузок не возникали, так что сидите в своей песочнице с процессором от АМД за 1000р/гигагерц и не лезьте куда не следует.

> все больше с HP/IBM приходится работать.

И мне приходится, какое совпадение :). Правда, с x86-серверами и глючат они не меньше чем другие серваки. Например, деловский PowerEdge Expandable RAID при холодном старте на одном сервере не все винты находит :).

> если вы считаете

я не просто считаю, я ещё провожу бенчмарки и нагрузочное тестирование. И знаю сколько процентов каких ресурсов какая подсистема хавает. А ты просто пересказываешь распространённые байки не утруждая себя доказательствами.

> реальные задачи требуют

Т.е. все у кого x86 сервера ты причисляешь к детям которые сидят в своей песочнице? Это пять. Гугл об этом знает? :)

> сидите в своей песочнице с процессором от АМД за 1000р/гигагерц

Тут ты правильно подметил, один и тот же результат можно получить за разные деньги.

PS это не у тебя были проблемы с установкой питона на свои Ъ-серваки с аиксом? :)

PPS можешь не отвечать, я знаю что рассказывают сертифицированные aix-специалисты про решения не от ibm. Повидал таких на линукс-фесте в прошлом году.

>я не просто считаю, я ещё провожу бенчмарки и нагрузочное тестирование. И знаю сколько процентов каких ресурсов какая подсистема хавает. А ты просто пересказываешь распространённые байки не утруждая себя доказательствами.

результаты-то покажите или будете опрерировать абстрактным "я провожу"? вот человек провел и даже в lklm написал: http://home.comcast.net/~jpiszcz/20080607/raid-benchmarks-decimal-fix-and-rig...

>Т.е. все у кого x86 сервера ты причисляешь к детям которые сидят в своей песочнице? Это пять. Гугл об этом знает? :)

ну вы же сервера на "савеловском" покупаете :)

> результаты-то покажите или будете опрерировать абстрактным "я провожу"? вот человек провел и даже в lklm написал: http://home.comcast.net/~jpiszcz/20080607/raid-benchmarks-decimal-fix-and-rig.. .

И что мы здесь видим? Повышенное потребление процессора на raid-# относительно single disk?
Если посмотреть на "% CPU" относительно производительности "Block K/sec", то видно что они пропорциональны.

> результаты-то покажите или будете опрерировать абстрактным "я провожу"? 

Софтовый raid1 на старом пне:

Version 1.93c       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
lowcostserv      4G   459  98 68452  21 40356  11  1559  98 90835  12 304.3   7
Latency             19320us    1103ms    1056ms   15413us     100ms     892ms
Version 1.93c       ------Sequential Create------ --------Random Create--------
lowcostserv         -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16 21063  38 +++++ +++ 23649  28 29080  52 +++++ +++ +++++ +++
Latency             14403us     247us     269us     392us      74us     230us
1.93c,1.93c,messir.net,1,1219724848,4G,,459,98,68452,21,40356,11,1559,98,90835,
12,304.3,7,16,,,,,21063,38,+++++,+++,23649,28,29080,52,+++++,+++,+++++,+++,19320
us,1103ms,1056ms,15413us,100ms,892ms,14403us,247us,269us,392us,74us,230us


> ну вы же сервера на "савеловском" покупаете :)

кто "мы"? :). Я закупками не занимаюсь, я настройкой занимаюсь. И у меня нет предрассудков
по поводу происхождения сервера, лишь бы работал нормально.

забыл сказать, сервер был под некоторой нагрузкой и поэтому результаты бенчмарка приблизительные.

По поводу нагрузки могу сказать что всё зависит отконтроллера. Пытался вот до апгрейда соорудить софтрейд на 2-х сата контроллерах - если два винчестера на одном контроллере, софтрейд - загрузка 10% при линейном чтении, но стареньком AMD 1500Мгц, два по одному на контроллере - загрузка под 50%, здоровый latency, о четырех забыл сразу. так что всё от не-РЕЙД контроллера зависит. Что такое рейд? 1-ый например? это прочитать оттуда и оттуда парраллельно и отдать приложению. При идеальной организации драйвера, дополнительных действий больще не надо - сделал буфер читаешь себе туда, отдаешь указачтель на начало. А что будет отдавать аппаратный контроллер? Да тот-же поток. Вывод аппаратный контроллер имеет смыл только для raid5, raid6 где что-то надо считать, и то там особой пользы от него нету на современных процессорах.

Так что не гоните на софтрейд, проблема может быть только в контроллере.

это не тест, в нем методики тестирования, проверки повторяемости результатов, графиков, выводов. или вы в институте не учились?

>Пытался вот до апгрейда соорудить софтрейд на 2-х сата контроллерах - если два винчестера на одном контроллере, софтрейд - загрузка 10% при линейном чтении, но стареньком AMD 1500Мгц, два по одному на контроллере - загрузка под 50%, здоровый latency

тут вы в скорость PCI уткнулись.

>При идеальной организации драйвера, дополнительных действий больще не надо - сделал буфер читаешь себе туда, отдаешь указачтель на начало. А что будет отдавать аппаратный контроллер? Да тот-же поток. Вывод аппаратный контроллер имеет смыл только для raid5, raid6 где что-то надо считать, и то там особой пользы от него нету на современных процессорах.

основная задача raid-контроллера - вынести ненужную нагрузку с процессора, памяти и PCI. если у вас на одном сервере крутится почта, какой-нить апач, самба, фтп, база то вам может быть и пофиг что у вас там тормозит, потому что тормозит все, в моих же задачах: один сервер - один сервис, и всякие приколы типо сфотового рейда мне не нужны.

> основная задача raid-контроллера - вынести ненужную нагрузку с процессора, памяти и PCI. если у вас на одном сервере крутится почта, какой-нить апач, самба, фтп, база то вам может быть и пофиг что у вас там тормозит, потому что тормозит все, в моих же задачах: один сервер - один сервис, и всякие приколы типо сфотового рейда мне не нужны.

Походу, я слишком подробен. Софтрейд не тормозит ввиду того что допнагрузке взяться неоткуда - выполняются те же действия что и при обычном чтении с диска, ни больше ни меньше - для stripe, для mirror будет допнагрузка на PCI, для рейд5 - на pci(небольшая) и на CPU.

http://www.linux.org.ru/jump-message.jsp?msgid=1785691&cid=1785774
http://www.linux.org.ru/jump-message.jsp?msgid=1474980&cid=1507655

>для mirror будет допнагрузка на PCI,

Двойная, да?

> для рейд5 - на pci(небольшая)

Небольшая? (100 / N)%, для N дисков

> Двойная, да?

Только при записи.

> Небольшая? (100 / N)%, для N дисков

эээ, неправильная формула - 100 / (N - 1)%, в первом приближении.

Ну, в рейд5 собирать меньше 4 дисков смысла нет, а +33% - весьма приемлимо. Там правда есть ещё проблемы с маленькими порциями данных, поэтому говорю, что для 5-го как раз контроллер полезен.

Только не нужно забывать что это +33%

Но stripe - таки наше всё! ;)

borisych, без графиков и выводов ничего сам понять не в состоянии. Даже зайти на сайт проекта и посмтреть методику измерения не смог. Погрешность измерения понятна из методики измерения. Не намерен больше тебя учить. Не подкалывай про образования, ты как бы не сильно красишь свой институт, есть выпускники получше.

sdio, внешний контроллер тоже будет хавать полосу шины между мостами как и отдельные диски. Другое дело, что в серверах рейд может быть на отдельной шине.

>http://www.linux.org.ru/jump-message.jsp?msgid=1474980&cid=1507655

там требования довольно специфичные: большое линейное чтение, причем размер чанков 1M, у железяк обычно максимум 256k.

>borisych, без графиков и выводов ничего сам понять не в состоянии. Даже зайти на сайт проекта и посмтреть методику измерения не смог. Погрешность измерения понятна из методики измерения. Не намерен больше тебя учить. Не подкалывай про образования, ты как бы не сильно красишь свой институт, есть выпускники получше.

что вы меряли-то? скорость записи? скорость чтения? латентность? иопсы? скорость файловой системы? у пефоманс тестов слишком много степеней свободы чтобы можно было весь результат тестирования описать плохосформатированной таблицей.

Это к тому, что "железное" решение не всегда однозначно лучше софтового, хотя по логике должно быть _всегда_.

> что вы меряли-то? скорость записи? скорость чтения? латентность? иопсы? скорость файловой системы?

Названия полей Sequential Output, Sequential Input, Random seeks должны наталкивать на мысли что эта штука делает.

Естественно, нагрузочного тестирования на конкретной системе с конкретными настройками ничто не заменит. Поэтому, по большому счёту, всё что тут обсуждается, пустой трёп. Но, исходя из скорости работы софтварного рейда, потребляемым им ресурсам, прогнаным бенчмаркам, врождённых недостатков рейда, опыта в эксплуатации на большом кол-ве серверов итп ясно видно что подавляющее большинство задач им покрываются.

Я вообще стараюсь проектировать системы так чтобы дисковое io не было узким местом в системе. Зачастую, можно воткнуть 8-16 гигов в сервер и диски будут простаивать(пока не начнут делаться бэкапы или когда кэш не "прогрелся"). Когда это невозможно, когда предъявляются большие требования к скорости работы дисков(большая сетевая шара, большие и нагруженные rdbms, и всё такое) и латентности операций, или есть другие причины, тогда время брать железный рейд. А не тогда когда пришёл borisych и сказал всем переходить на чпукс потому что когда он поставил линух у него "непонятно откуда взявшихся нагрузок" появились.

>Названия полей Sequential Output, Sequential Input, Random seeks должны наталкивать на мысли что эта штука делает.

методику опишите, названия полей и цифры в них без методики мне ни о чем не говорит

>методику опишите, названия полей и цифры в них без методики мне ни о чем не говорит

borisych, чего привязался, ты разве не такой же тест привел
http://home.comcast.net/%7Ejpiszcz/20080607/raid-benchmarks-decimal-fix-and-rig ?

>borisych, чего привязался, ты разве не такой же тест привел

не такой же, у него описание есть :)

http://linux.derkeiler.com/Mailing-Lists/Kernel/2008-06/msg02937.html