LINUX.ORG.RU
ФорумAdmin

iostat + ext4


0

1

Глючит iostat в связке с ext4. CentOS release 5.7, soft raid6 (4 диска), раздел под бэкапы отформатирован mke4fs -b 4096 -E stride=64 -E stripe-width=128 -O dir_index -O sparse_super /dev/md2

на новенький пустой раздел делаю rsync с удалённой машины на локальную. iostat/iotop показывают что идёт активнейшая запись на диск (оно и понятно), но iostat сходит с ума то ли ext4 так странно работает

Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda             485.15  3173.27 23.76 151.49  3318.81 28435.64   181.20     5.23   28.33   4.54  79.60
sda1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda2            485.15  3173.27 23.76 151.49  3318.81 28435.64   181.20     5.23   28.33   4.54  79.60
sda3              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda4              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda5              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb             563.37  3049.50 27.72 152.48  4126.73 28023.76   178.42     5.92   31.68   4.50  81.09
sdb1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb2            563.37  3049.50 27.72 152.48  4126.73 28023.76   178.42     5.92   31.68   4.50  81.09
sdb3              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb4              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb5              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc             458.42  3194.06 27.72 145.54  3873.27 27485.15   180.98     6.67   37.67   5.34  92.57
sdc1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc2            458.42  3194.06 27.72 145.54  3873.27 27485.15   180.98     6.67   37.67   5.34  92.57
sdc3              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc4              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc5              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd             524.75  3128.71 30.69 138.61  4332.67 26859.41   184.23     6.58   36.94   5.49  92.97
sdd1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd2            524.75  3128.71 30.69 138.61  4332.67 26859.41   184.23     6.58   36.94   5.49  92.97
sdd3              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd4              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd5              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00  0.99 6003.96     7.92 48031.68     8.00     0.00    0.00   0.00   0.00
md0               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sr0               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

непонятно откуда такое большое чтение с диска - раздел новый, rsync не пишет поверх чего-либо, на xfs всё было ок (отказался из-за потери данных при отрубании эл-ва). Так же не корректно считается итоговый iops для чтения/записи для md2.

Во-общем - кто нить знает что за хрень творится с ext4?

ps. да, xfs потерял данные, да, я знаю что на домашней машины у вас xfs крутится 3 года и всё тип-топ, нет, ext3 не подходит из-за тормознутости, нет, рейзер трогать страшно ибо не ясно в каком состоянии ))

Ответ на: комментарий от macumazan

iotop показывают почти по нулям чтение в такой момент, vmstat

 vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0   8628 3670264 937164 2941344    0    0  1428  1201   10    9  2  2 90  6  0
 0  0   8628 3656872 937240 2952488    0    0     0 20232 5917 23087  2  4 94  0  0
 0  0   8628 3639016 937284 2969076    0    0     0 28760 6997 23176  3  5 90  2  0
 1  0   8628 3598344 937592 3005488    0    0     4 26816 11146 25144  5  5 89  0  0
 1  0   8628 3496788 937692 3104132    0    0     0 25068 16452 16429 14  8 78  0  0

loginrl103
() автор топика
Ответ на: комментарий от macumazan

да, кстати vmstat/iotop/iostat показывают всё таки данные с разных уровней: vmstat - обращение с самой фс от юзер спейс(те например чтение мета информации сюда не попадёт), iostat - непосредственно запросы в драйверу диска (по ходу самый низкий уровень), iotop - тоже на уровне обращения от приложения.

loginrl103
() автор топика

http://ru.wikipedia.org/wiki/RAID

Производительность RAID 5 заметно ниже, в особенности на операциях типа Random Write (записи в произвольном порядке), при которых производительность падает на 10-25% от производительности RAID 1 (или RAID 10), так как требует большего количества операций с дисками (каждая операция записи сервера заменяется на контроллере RAID на три - одну операцию чтения и две операции записи)

Рейд raid6 подвержен этому еще в большей степени.

ventilator ★★★
()

Какой вообще сакральный смысл рейда 6 на 4 дисках? Объема столько же как и в raid10, а скорость меньше. Разве что надежность, но при четырех дисках два сразу редко вылетают.

ventilator ★★★
()
Ответ на: комментарий от ventilator

рейд6 именно из-за надёжности брался, диски самые что ни наесть обычные. В теории - если диски из одной партии (а они из одной), и износ дисков одинаковый (а он по идее одинаковый) то если выходит из строя один из дисков, есть вероятность что в ближайшее время вылетит и второй диск. В той же педивикии есть об этом упоминание.

Касательно чтения - если пишется файл, он бьётся на блоки согласно размеру страйпа, рассчитываются контр.суммы и эти данные записываются на диски. Вопрос - откуда берётся чтение?

loginrl103
() автор топика
Ответ на: комментарий от loginrl103

Очевидно, что для подсчета суммы, нужно при изменении блока на одном диске, прочитать соотвествующие блоки с остальных, чтобы из них посчитать сумму, а потом эту сумму еще и записать.

ventilator ★★★
()
Ответ на: комментарий от loginrl103

рейд6 именно из-за надёжности брался, диски самые что ни наесть обычные. В теории - если диски из одной партии (а они из одной), и износ дисков одинаковый (а он по идее одинаковый) то если выходит из строя один из дисков, есть вероятность что в ближайшее время вылетит и второй диск. В той же педивикии есть об этом упоминание.

А вы учли что при вылете одного диска в 5/6 рейде, нагрузка на остальные сразу возрастет? Это к вопросу о вероятности вылета второго диска. Рейд 5/6 подразумевает что у вас есть hot spare диск, который встанет в массив сразу после вылета нагруженного диска, или по крайней мере на полочке у вас лежит запасной винт. В raid10 массиве после поломки одного диска вероятность вылета второго не увеличивается, а в raid5 увеличивается за счет возрастания нагрузки.

ventilator ★★★
()
Ответ на: комментарий от loginrl103

Больше вероятность вылета сначала одного диска, а затем второго. Чем одновременно двух. Так вот рейд5/6 приближает вылет следующего диска при вылете первого. Если у вас есть hot-spare - никаких проблем.

ventilator ★★★
()
Ответ на: комментарий от ventilator

ну ладно, чёрт с этим raid5/6, работает и норм. вопрос в том почему на xfs при записи чтение с диска было почти нулевым, а на ext4 значительно больше;

так же почему итоговые iops считаются не верно?

loginrl103
() автор топика
Ответ на: комментарий от loginrl103

Про итоговые iops я не разбирался, у меня тоже странные цифры показывает. Для xfs неплохо бы циферки видеть, может там и скорость записи другая была.

ventilator ★★★
()
Ответ на: комментарий от ventilator

субъективно - ext4 оказался несколько быстрее xfs, но и нагрузку создаёт (опять таки субъективно) больше.

loginrl103
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.