mdadm raid 10 - performance

0

1

Друзья, имею, вот такую конфигурацию:

4hdd SATA, 7.2к

# cat /proc/mdstat
Personalities : [raid1] [raid10]
md10 : active raid10 sdf1[3] sdd1[1] sde1[2] sdc1[0]
      974911488 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
      bitmap: 2/8 pages [8KB], 65536KB chunk

Делаю:

dd bs=1M count=256 if=/dev/zero of=test conv=fdatasync
256+0 записей получено
256+0 записей отправлено
 скопировано 268435456 байт (268 MB), 1,53773 c, 175 MB/c

Иногда, получаю порядка 190 МБ/с

Но когда делаю вот так:

dd bs=1M count=256 if=/dev/zero of=test oflag=dsync
256+0 записей получено
256+0 записей отправлено
 скопировано 268435456 байт (268 MB), 12,3353 c, 21,8 MB/c

На меня нападает, печаль... Я понимаю, что: dsync + bitmap, дают о себе знать. Но чтобы вот прям так... Ну видимо, это ещё особенности, именно 10RAID, оно ожидает, пока на все диски засинкается (в моём случае их 4)?

Какие у вас скорости raid10, на mdadm?

mdadm 3.x - если это важно.

Ссылка

←	Посоветуйте CMS

Файловый менеджер умеющий аутентифицироваться по kerberos на cifs

→

Обычно для тестирования блочной записи через dd используют oflag=direct

скопировано 268435456 байт (268 MB), 1,53773 c, 175 MB/c

Нормальная скорость при распараллеливании на два raid1

dd bs=1M count=256 if=/dev/zero of=test oflag=dsync
[...]
 скопировано 268435456 байт (268 MB), 12,3353 c, 21,8 MB/c

Сильно подозреваю, что ты жёстко ограничиваешь производительность самого dd, а не диска ;)

Погоняй на существенно большем объёме данных без dsync. Если ты стабильно получшь те же 175 MB/s, значит mdadm, диски и кэш ни при чём

Также советую прогнать тесты через fio

[write1]
# на больших блоках 1M увидишь bandwidth ( в MB/s ), на мелких 4k - IOPS
blocksize=1M
# промахнёшься - останешься без данных
# лучше использовать блочное устройство, чтобы обойти кэш ФС
filename=/путь_к_block_device_или_файлу_на_ФС
rw=randwrite
randrepeat=0
# асинхронные запросы
ioengine=libaio
# ничего не буферизировать
direct=1
buffered=0
# можно увеличивать, пока не упрёшься во что-нибудь ( т.е. пока задержка не начнёт резко расти )
iodepth=4
# ограничить время в секундах
runtime=300

router ★★★★★
(29.01.16 17:16:38 MSK)