zol , не всё так хорошо...

Варьируется 512-3000 на порт, но выставлять такие значения для lun в разношёрстной, в плане io, среде на грани с самоубийством.

This benchmark was done by 44 nodes, using 6.808 TB of memory, with 800 HDDs. ))))))))))

это уже другой вопрос.

А я не в хостинге работаю уже давно.
Алсо, как-то напрямую не сверял производительность, отсюда и стало интересно. Мерси за урл.

Всё это дело, я хочу повесить, на Adaptec RAID 6805E (в режиме JBOD)

Не надо 6805E. Поставь лучше хорошую HBA-шечку с большим количеством IOPSов.

Немного странно говорить в ветке ТС вне его контекста.

Возможно, но не менее странно абстрактно говорить, что raid6 тормоз. iops на запись у него меньше, но на чтение-то пенальти нет, да и по пропускной способности может обогнать, а с raid60 вообще всё не так однозначно.

Страница5 RAID10

Дык, а тесты где?

Как-то так. Дальше можешь нагуглить про raid penalty и произвести расчёты )

Во-первых, все массивы на хороших raid-контроллерах adaptec с батарейкой в режиме jbod

Эээ, очень странный выбор...

Операции вычисления контрольных сумм затратны. Это не raid0/1/10, который умеют даже недорогие HBA. Сравнительные тесты именно raidz2 vs raid10 от авторитетного источника отыскать непросто (так, чтобы было разное число дисков в тестах и широкий набор тестов). Но уместна параллель raidz2 c raid6. Про это расписано достаточно много и по тестам, и по расчетам пенальти в лучшем и худшем случае. В нормальном состоянии raid10 позволяет в разы увеличить скорость записи (за счет страйпов), а в raid6 она не увеличится по сравнению с одним жестким диском.

В нормальном состоянии raid10 позволяет в разы увеличить скорость записи (за счет страйпов)

Ты, надеюсь, в курсе, что у raid10 тоже есть пенальти?

а в raid6 она не увеличится по сравнению с одним жестким диском.

Это верно только при конфе 4d+2p.

Я смотрю пока мест, в сторону SSD. raid z2 - уж очень сложна логически, это меня отталкивает, конечно.

Вот кстати, zfs не умеет Raid-10, ну понятное дело, софтовое решение, оно такое, да.

Зато, он мониторить может диски из «одного места», ну то есть с одного софта. К примеру, смотри, вот у меня ZoL, а оно как известно под корень не годно (извращенцы идут лесом :-D). Что делать..? Проще поставить RAID железку, поставить на два диска ОС, а остальные повесить в режиме jbod, и прицепить их на zfs. - Не..?

Вот кстати, zfs не умеет Raid-10, ну понятное дело, софтовое решение, оно такое, да.

make me unsee this

Не надо 6805E. Поставь лучше хорошую HBA-шечку с большим количеством IOPSов.

У меня клиентов до ста человек. И 6805E уже имеется. Я думаю, в купе с SSD дисками, мне этого должно хватить...

Оу, щит. Я вляпался в дерьмо..? Я посмотрел, и насколько понял, на zfs творят два рейд1 в один последовательный массив. 1+0 Не..? Я не прав? Буду рад линкам. :)

zpool create RD10 mirror ada0 ada1
zpool add RD10 mirror ada3 ada4

Это блин, нифига не RAID10

на zfs творят два рейд1

Сколько угодно и каких угодно, естественно одинаковых.

в один последовательный массив

опять рабинович напел?

Я смотрю пока мест, в сторону SSD

Смотри-смотри. Когда берешь десктопную сотку под базу, то размечать надо гигов 20, а то помрет быстро. Зеркало из терабайтных тебе самый раз будет. Кстати, всего за какую-то 10-ку килобаксов можно готовое PCI-E решение на SSD купить.

И 6805E уже имеется

Не удивлюсь, если он сольет встроенному контроллеру на материнке, если использовать SSD.

Ха, а вот кстати, вопрос: одинаковых-ли..? Вроде как zfs умное, и если влепить не одинаковые, оно будет вроде как на меньший ориентироваться. Не?

Да Рабинович ничего не поёт, вот тут например читаю: http://www.zfsbuild.com/2010/06/03/howto-create-striped-mirror-vdev-pool , вроде всё однозначно.

Вот это да... Вопрос такой. Что будет лучше. Пока я сам думаю, стоит или нет. Вообще говоря, эта штука аппаратная, и там заявлена поддержка SSD. Мне не нужна по хорошему убер скорость, мне нафиг не укакалось копировать по 500 мегабайт в сек. Мне куда важнее рандомно быстро читать, и рандомно быстро записывать.

Ну я возьму, что-то подобное, не сто гиговые, конечно. А с повышенным ресурсом MLC.

Оу, щит. Я вляпался в дерьмо..? Я посмотрел, и насколько понял, на zfs творят два рейд1 в один последовательный массив. 1+0 Не..? Я не прав? Буду рад линкам. :)

вот готовое опробованное решение

Да. Именно так в zfs и делается RAID-10.

A Striped Mirrored Vdev Zpool is very similar to RAID10. It does have the additional feature of having checksuming to prevent silent data corruption, but essentially it is the same as RAID10.

Что тебе не понятно в этой фразе и откуда ты взял последовательно?

Ха, а вот кстати, вопрос: одинаковых-ли..?

одинаковый raid level.

Вроде как zfs умное, и если влепить не одинаковые, оно будет вроде как на меньший ориентироваться. Не?

да. блджад, открой ты уже документацию наконец.

Мне не нужна по хорошему убер скорость...Мне куда важнее рандомно быстро читать, и рандомно быстро записывать.

В квотезы что-ли.

Да. Именно так в zfs и делается RAID-10.

А как тогда по-твоему должен выглядеть raid10? А то пацаны-то и не знали.

Не кипятись... Там написано вот такое:

A Striped Mirrored Vdev Zpool is very similar to RAID10. It does have the additional feature of having checksuming to prevent silent data corruption, but essentially it is the same as RAID10. It allows you to have great random read and random write performance, but it does decrease your available disk space to 50% of the physical capacity of your drives. Every time we have set up RAID for workloads though, we have found that the additional available IOPS for random writes far offsets the penalty of losing half of your disk space.

Ага, по видимому, оно шарит, и размазывает данные по всем винтам, равномерно. Это гуд. Но вестимо оно их зеркалит при этом. И выход из строя двух дисков в одном зеркале - означает потерю всего массива.

да. блджад, открой ты уже документацию наконец.

http://docs.oracle.com/cd/E19253-01/819-5461/gkdep/index.html вот тут ничего нету про разные размеры.

Тащемта random(iops) и пропускная способность(mbps) разные понятия.

Да я думаю, что я гоню, конечно... И RAID-10, должен выглядить именно так. Просто мне малость сыкатно, в том плане, что будет если вылетит одновременно две SSD в одном плече. Чтобы оно было в разных плечах, нужен RAID-6, конечно.

А что не так? Быстро, имеется ввиду в контексте отклика, а не в контексте скорости. Вроде всё понятно...

Тащемта random(iops) и пропускная способность(mbps) разные понятия.

Ну да... Да эта пропускная способность по-хорошему почти никогда не нужна... Куда как важнее iops, я гоняю свои процессы, и у меня процент wa до 60 доходит, с обычными НЖМД, 10к оборотов, которые.

Тебе бы матчасть подтянуть не мешало, а то местами вроде адекватные вещи пишешь и в том же сообщении можешь такую ересь написать, что я иногда теряюсь в потоке твоего сознания.

Тащемта random(iops) и пропускная способность(mbps) разные понятия.

Я за тебя рад, только «рандомно быстро читать, и рандомно быстро записывать» - это еще не значит выполнять большое число операций ввода-вывода. И еще не путай, пожалуйста, скорость с пропускной способностью. Вещи сильно разные.

Во мне ещё плескаются остатки паранои, от того как у меня файлы побились на zfs... Паранойя теперь меня не отпускает... По-этому да... Меня иногда носит. Ну а вообще, я конечно, не всё знаю... Далеко не всё. Особенно, в области: дизастери рековери... Так-как у меня не хайлоад, и что такое отказ железа, я на практике узнаю не столь часто. Кстати, очень часто отказывает серверное железо (HP), лежит куча НЖМД (HP и других брендов), и пару серверов (из 4 HP, два отказали!).

Тут мне тоже пишут много людей, и среди всех постов я уже порой теряюсь, мне тоже не всегда адекват пишут. :)

Такс, а про разные размеры дисков в RAID1, zfs, где посмотреть? Но я помню, что где-то смотрел, и там всё вроде как ясно выходит - то по наименьшему возьмёт. Именно через эту особенность, можно подисково увеличить потом mirror в zfs.

Ну это я просто через жЁпу написал. В целом, я думаю меня все поняли.

А что не так?

Быстро писать/читать (как у тебя написано) - не значит иметь малое время отклика.

Я посмотрел вывод iostat из zfs, во время операций на sql уровне, я запросто могу писать: 14 МБ/сек., при этом wa 50 процентов (la, взлетает до 5,5)... Максимум, что я видовал, это были КОСМИЧЕСКИЕ: 70 МБ/сек.

Дался тебе этот ZOL. Говорю: делай обычный аппаратный RAID-10 на своем адаптеке на 6-10 дисках с ext4/xfs и не занимайся дурью. Бэкап средствами БД на слэйве. Уморили своими костылями.

Да тоже в общем то дело говоришь, просто мои лицензии не позволяют master/slave + у меня тонкий тюнинг местами, в самой ОС, куча говно патчей всяких стоит, чтобы это дело всё шевелилось, и мне периодически необходимо накатывать апдейты, на СУБД, на данные, на ОС. - С локальным железом я уже намучался, хочется так, чтобы я мог отдать людям на тест машинку, смог скопировать для себя, и посмотреть, что будет если я сделаю то-то и то... При том эта СУБД, она же не одна работает, а в связке с другим ПО, всякая там говноjava, и прочий унылый, никому не нужный, древний энтерпрайз. Я вообще много блобов храню в СУБД, и гоняю app сервер и СУБД на одном хосте. - Опять-же у меня народу мало... Не те нагрузки, чтобы разносить это дело, и так добра хватает всякого унылого.

Виртуалку c qcow2 и снэпшотами никто не отменял. Эк ты про лицензии заговорил. А право пользоваться несколькими копиями у тебя есть? Не хочешь - не делай ничего. Мне уже все равно. Что мог посоветовать - сказал. Городите дальше огород, ребята. Удачи. Только потом не нужно плакать, что фс развалилась, или там база не завелась, хотя снэпшот вроде бы целый. С базами есть неприятные нюансы, и бэкапить их снэпшотами никто не рекомендует.

Эк ты про лицензии заговорил. А право пользоваться несколькими копиями у тебя есть?

Да, есть, каждый инстанс (СУБД+апп сервер), могу использовать сколь угодно много раз, запросив лицензионный ключ, в рамках действующего контракта.

С базами есть неприятные нюансы, и бэкапить их снэпшотами никто не рекомендует.

Исключительно ты прав, у меня в ночное время там никого не сидит, дай бог пять душ... И те в карты играют. Именно, по-этому я могу рисковать и делать ПОМИМО: офлайн бекапов СУБД (вот кстати их, я собираюсь делать или вообще на голую ext4, или на другой qcow2, лежащий на обычной ext4, не намерен доверяться zfs полностью), помимо ведения архайв логов, ещё и онлайн снепшоты от zfs, и отправлять их на другой узел, в другом здании, чтобы в случае чего, я смог подняться там.

Виртуалку c qcow2 и снэпшотами никто не отменял.

Ну, тут возникает вопрос, а чего собственно делать, с файлом в 300 гиг, образа qcow2? Как бекапить его? Куда..? LVM, снепшоты? - Медленно. Разностное копирование на LVM - да ты бы сам этим пользоваться не стал...

Кстати, ты активно говоришь, что brtfs, это ОК. - А ты сам пользуешь её в продакшене? Я тебя спросил как-то, но ты так и не ответил...

В любом случае, спасибо за активное участие в треде! Я на самом деле ОЧЕНЬ многое тут для себя подчерпнул. И тонкости zfs, и разницу в RAID тонкостях, и прочих вещах, и от тебя подчерпнул многое на самом деле.

только «рандомно быстро читать, и рандомно быстро записывать» - это еще не значит выполнять большое число операций ввода-вывода

К чему тут про большое кол-во io? Их будет столько, сколько тебе надо записать, исходя из размера блока, только записать 500мб потоком и 500мб рандома сильно разно по времени, если это не ssd, о чём он вроде и говорил. Правда, прочитав ниже коменты где уже смешались иопсы, задержки и время отклика, я уже запутался что ему надо.

И еще не путай, пожалуйста, скорость с пропускной способностью. Вещи сильно разные.

И сколько км/ч нынче у массивов максимальная скорость?

Где-то тут, лень искать. Но должно быть очевидно, что к девайсу в n байт не добавить девайс в n-1, а только такой же или больше.

с файлом в 300 гиг, образа qcow2? Как бекапить его? Куда..? LVM, снепшоты?

файлы прекрасно "копируются" rsync'ом — копируются только измененные куски-блоки файлов. Плюс — технология простая и проверенная.

Да, я. Так же храню виртуалки от kvm + бекапные машины на zfs.

Ну хорошо, что я не один такой извращенец... :)

Ой, ну тебя, с твоим rsync, он чтобы эти изменённые блоки найти, лопатит все файлы, разбивая их на кусочки, при том делает он это с двух сторон. Следовательно, нагрузка i/o, бешенная, и всё это идёт точно так-же практически, как если бы тупо копировать каждый раз заного.

The size of the replacement device must be equal to or larger than the smallest disk in a mirrored or RAID-Z configuration.

И сколько км/ч нынче у массивов максимальная скорость?

38 попугаев и одно попугайское крылышко

К чему тут про большое кол-во io?

Ты же сам первый написал про IOPS. К чему - мне и самому интересно. Надо все вместе смешать, а потом поговорить про Фому и про Ерему.

zfs не умеет Raid-10

умеет