чем обьяснить разницу в производительности raid5?

делай raid10 пока не поздно

скорость чтения была (примерно) 200мб/с, записи 300мб/с.

Какой-то это был неправильный raid5.

Какой командой тестили скорость?

тестил через fio, конфиг следующий: для чтения: [readtest] blocksize=1024k filename=/dev/md0 rw=read direct=1 buffered=0 ioengine=libaio iodepth=32

для записи: [readtest] blocksize=1024k filename=/dev/md0 rw=write direct=1 buffered=0 ioengine=libaio iodepth=32

raid10 не рассматриваю, он почему-то гипер медленный - перепробовал все layot-ы

HGST — Advanced Format, в отличие от WD. Разделы выровнял?

RAID5 из дисков 8тб — изврат.

Общего ответа у меня нет, только мысли о возможных направлениях поиска

• дурацкий вопрос, но.... во время тестов на винты же не было продуктивной нагрузки от сервера бекапа, ведь правда? :)
• Ты никак не ограничил время теста. Возможно, на больших винтах ты запустил тестирование на большее время и тупо заполнил кэш на запись, из-за чего естественно резко просела производительность. На полчасика, по-любому :)

  runtime=1800

• скорее всего, вторые винты не предназначены для работы в рейде. У рейдовых винтов жёстко заданы таймауты: не успел прочитать/записать - выдавай ошибку, контроллер рейда отработает. Если этого нет, могут возникать рандомные тормоза на I/O операциях. Может у тебя один диск помирает
• Хотелось бы видеть весь вывод fio ( для всех протестированных вариантов ) и информацию о рейдах )

offtopic:

• Нет

  randrepeat=0

  , без этого тест каждый раз повторяет одни и те же номера блоков ( напр. первый прогон: 1, 54891, 154, 9345, .. ; второй прогон: 1, 54891, 154, 9345, .. )
• для sata дисков глубина очереди 32 явно избыточна

HGST — Advanced Format, в отличие от WD. Разделы выровнял?

Вот кстати про это забыл. +1. Хотя wd тоже advanced format

Что именно собрал в рейды? Весь винт или отдельные партиции? Во втором случае важно выравнивание

И ещё fio может писать подробные логи

write_lat_log=fio_test.lat_log
write_iolog=fio_test.iolog

Если не лень их потом обработать перлом или питоном, можно получить гистограмму распределения задержек, по которой много можно сказать о дисках

RAID5 это вообще изврат нынче :)

Может у тебя один диск помирает

Во время тестирования посмотри

iostat -x 5 /dev/sda /dev/sdb ...

wd re is not AF, Luke.

Ты ничего не путаешь? Все винты больше 2 Тб поддерживают AF

Почему все ругают RAID5?

это дельный совет, спасибо.

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda            9056.00 20257.00   91.00  205.80 36930.40 82104.00   802.12    13.85   48.08  111.24   20.15   3.30  97.84
sdb            4286.60 20475.80   59.40  207.00 17416.00 82936.00   753.39     3.50   13.16   41.35    5.07   3.19  84.96
sdc            9203.60 20056.60   80.00  199.60 37320.80 80711.20   844.29    27.75   70.64   65.61   72.65   3.58 100.00
sdd            4514.80 20145.60   48.00  204.20 18251.20 81133.60   788.14     3.89   15.25   41.58    9.06   3.73  94.08

это во время теста последовательной записи. fio показывает на этот момент около 240мб/с. странно что винты пишут всего лишь 80мб/с, в то время как линейный тест (без рейда) показал что они легко дают 200мб/с по отдельности?

что значит поддерживают? диск имеет размер сектора или 512б или 4кб (AF). программно он не меняется.

посмотри спеки WD, RE имеют размер сектора 512б.

у НЖМД свой кэш и свои прошивки, ты не знал? Чем объяснить? Разные люди написали разный код для разных моделей нжмд, чего здесь непонятного-то?

НЖМД - это не «тупая железка». Это отдельный микрокомпьютер. Добро пожаловать в мир firmware.

на самом деле аноним глаголит истину. програмно размер сектора не поменяешь, так-же нельзя перешить другую прошивку чтоб его поменять. поэтому надо перед покупкой выбирать нужную железку. я купил с 4к секторами просто из-за того, что они дешевле стоили (брал с рук).

потому что он выдерживает отказ 1 диска, и во время ребилда массива вероятность потерять 2-й диск растет прямо пропорционально времени.

я чота давно не видел диски HGST большой ёмкости без AF :)

ну я когда брал диск, то был выбор - натив 512байт, 512е (4к диск с эмуляцией 512байтных секторов) и натив 4к. это всё 8тб диски.

странно что винты пишут всего лишь 80мб/с, в то время как линейный тест (без рейда) показал что они легко дают 200мб/с по отдельности?

При записи на raid5 нужно пересчитать контрольные суммы. Т.е. сначала считывается текущий блок, потом записывается блок на текущий винт и блок с пересчитанной контрольной суммой на другой винт. Вместо одной операции записи - одно чтение и две записи

Это нормальная ситуация для raid5. На старых дисках должна быть похожая картина

посмотри спеки WD, RE имеют размер сектора 512б.

Так, я понял в чём недопонимание. ТС сказал - «wd re 5tb». Я зацепился за 5 Тб, ты за Re. Самое смешное, что на сайте WD я вообще не вижу 5 Tb дисков в линейке Re :D соответственно, и в спеках их нет

http://www.wdc.com/en/products/catalog/Default.aspx

Из не вполне достоверных источников, яндекс.маркет говорит - AF, 512e

модель WD5001FYYZ

http://www.wdc.com/wdproducts/library/SpecSheet/FRA/2879-800044.pdf

ок, был неправ

кстати, есть ещё варианты для 4-ех дисков, переживающие выход из строя одного, и дающий размер трёх суммарно (ну, как raid5) ?

zfs raid-z

На линуксе? Ну-ну… когда у тебя сервер колом встанет от IO и начальник будет тебя иметь, у тебя будет такое же лицо как на аве, только с румянцем на щеках.

Скорость? Даже самая большая из твоих у одного среднего бытового ссд сосёт в несколько раз.

3 * 8 Тбайт

домашку не задали?

Это тебе лучше знать.

Большие ссд и рэйд из них ещё быстрее. Что сказать-то хотел?

нафига SSD на сервере для бэкапов?

Не имею понятия зачем ТС тогда так обеспокоен скоростями.

Я бэкаплю с нескольких серверов, сразу по 2-3 тб за раз, большими файлами. Поэтому 300мб/с последовательно на запись лучше чем 200мб/с. 24 тб ссд в hp microserver будет сложно воткнуть даже при желании и наличии денег для этого.

Сетка между серваками 10Gbit?

да

Я бы порекомендовал ZFS на FreeBSD , но это если железо подойдёт.

да блин не очень хочется плодить зоопарк из разных ОС, уже имею гемморой с бэкапом с макоси на линукс, который пока не получается разрулить. 10g карта дропает пакеты из за переполнения внутреннего буфера, из за чего скорость входящего трафа падает ниже гигабита, а техсаппорт разводит руками. уже и карты разные вставлял (myricom), и подключал их по разному, и софт переставлял - до задницы. добавить сюда ещё фряху и думаю добавится хлопот сразу же :)

raid5 что на 5tb, а уж тем более на 8tb делать, к сожалению, нельзя. Делай raidz, там почти все проблемы raid5 решены.

Наоборот, с FreeBSD твоя задница будет мягкой и шелковистой))

Вероятность вылета 2-го диска, а с ним и всех данных, в процессе ресильвера там тоже решили?

На 8тб дисках делать raidz2, а лучше rz3 надо, а у него всего 4 винта.

почему нельзя?

Читать тред RAID-0 на большом числе HDD (6+) до просветления.

http://www.zdnet.com/article/why-raid-5-stops-working-in-2009/

http://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

Если кратко: URE (unrecoverable read error rate) + большой объем дисков = крах штатной процедуры синхронизации при замене диска массива

честно говоря, звучит бредово. за свою жизнь я юзал более сотни разных дисков, начиная от 1гигабайтных и заканчивая 10тб. такое, чтоб были невосстановимые ошибки чтения, происходило только уже на конченых дисках, которые шли на мусорку/сервис по гарантии. последние 8тб-ники я прогнал полной записью поверхности и считыванием с валидацией данных - никаких ошибок не произошло (такой же тест я провожу со всеми абсолютно дисками). ну и данные я храню в двух копиях, если бэкап полетит, то, в принципе, мне всего лишь надо будет сделать новый бэкап. рейд то, никак не гарантирует сохранность данных. полетит БП - погорят все диски сразу - никакой рейд не поможет :)

Имел дело с raid50 сделанном на 1.5TB дисках в количестве около 40 штук. Через 5 года эксплуатации, при выходе из строя очередного диска, буквально в тот же день после ресинка, из той же группы выпал второй диск. Решено было перекинуть этот массив целиком на новый, стоящий рядом. В процессе копирования выпали еще 3 или 4 диска, данным на этот раз повезло. Так что, вопрос в вероятности и сроке эксплуатации

тут, скорей, вероятность выхода более одного диска возрастает с количеством дисков в массиве. вроде как средний процент у backblaze 3%. тоесть три диска из ста вылетают железно.

честно говоря, звучит бредово.

UER - штатная единица спецификации у производителя.

unrecoverable error не означает, что на диске появится битый сектор и что ОС не сможет его считать со второй попытки. я не думаю что resync отвалится из за этого.