LINUX.ORG.RU
ФорумAdmin

LVM RAID5 постоянно что-то читает

 ,


0

2

всем привет. возник вопрос, сделал lvm raid5 и из него thinpool:

pvcreate /dev/sd[a-c]
vgcreate myvg /dev/sda /dev/sdb /dev/sdc
lvcreate -n mylv -L 500G --type raid5 -i 2 myvg
lvcreate -n my_meta_lv -L 15G --type raid5 -i 2 myvg
lvconvert --thinpool myvg/mylv --poolmetadata myvg/my_meta_lv

вроде как все хорошо. Перенес туда одну виртуалку (это все на proxmox) но nmon показывает что на всех 3х дисках идет постоянное чтение около 40Мб\с и запись около 14Мб\с (цифри то скачут, но не очень)

Как понять что его юзает? Выключаю виртуалку чтение\запись остаются. В самой же виртуалке не делается ничего, просто запущена чистая винда. В диспетчере задач показывает чт\зап 20-80кб\с, но загрузка диска 100%. отклик 50-6000мс.

тормозит жутко

DiskName Busy    Read    Write       Xfers   Size  Peak%  Peak=R+W    InFlight
dm-14     91%  33083.0  11994.9KB/s 11262.2  4.0KB  373%  210130.6KB/s 824
dm-16     32%  38975.1  12646.5KB/s 12889.9  4.0KB  165%  210107.6KB/s  04
dm-18     39%  32837.0  12964.3KB/s 11389.0  4.0KB  163%  210075.6KB/s 964
sda       79%  36868.2  11445.6KB/s  253.4 190.7KB  374%  210140.5KB/s  8
sdb       41%  30489.3  10502.0KB/s  216.4 189.4KB  169%  210052.6KB/s  0
sdc       49%  46243.7  13690.3KB/s  310.9 192.8KB  164%  210084.6KB/s  1

/dev/sda показывает самую большую загрузку. раньше он был под zfs. кстати, некоторые диски на которых был zfs тупят страшно на том же хосте. при переносе на другой - попускает

fuser -vam /dev/dm-18 не показывает ничего. iotop не показывает чтения/записи (таких)



Последнее исправление: alexni (всего исправлений: 3)

Похоже на синхронизацию. Код RAID в LVM, насколько я помню, взят из MD RAID, и там именно такое поведение было, если не потребовать явно считать массив «чистым». Подробности должны быть в выводе lvs или vgs.

anonymous
()

Выключаю виртуалку чтение\запись остаются

Смотрите какой процесс юзает файлик[и]/раздел[ы] виртуалки. Например может у вас бэкап виртуалок запускается.

anc ★★★★★
()
Ответ на: комментарий от anonymous

Нет никакой. Виртуалки в пуле.

Да. Это синхронизация.

lvs -a -o name,sync_perc показывает cpy%sync 35% только

Правильно, при создании он синх не не делает. А тут был lvconvert, походу он и вызвал этот процесс.

А вообще, кто-нить сталкивался, можно как-то сразу заделать thin pool в куче с raid5/6/10? В реальностях, тут 3 диска по 1Тб и глаз дергается пол дня. А я такое хотел попробовать на 6х4Тб))

alexni
() автор топика
Последнее исправление: alexni (всего исправлений: 2)

Ничёсе, живой человек, использующий lvm-raid! В своё время думал переехать с mdadm на него, он отсутствие информации, как его мониторить, дебажить и чинить отпугнуло. Вот твой случай, неизвестно что происходит. Могу только морально поддержать и посоветовать классику mdadm + lvm.

itn ★★★
()
Ответ на: комментарий от itn

я впринципе с рейд’ами не дружу. lvm на каждом диске. но тут возникла необходимость места добавить, а диск нет возможности поменять.

С мониторингом да, туговато. если не thin. как раз тонкие тома и мониторятся и чинятся легче (была практика, когда глюкнул ссд и поламало tmeta). ручками стянул, в блокноте поправил, залил назад и поехали)

А с рейдами не прокатит… ZFS ложит диски. износ растет на глазах… mdadm + lvm - ну хз, если lvm юзает md для работы с дисками.

alexni
() автор топика
Ответ на: комментарий от alexni

Правильно, при создании он синх не не делает

Кто сказал что не делает? Можно ссылку на man lvcreate, где написано что опция --nosync применяется по-умолчанию?

futurama ★★★★★
()
Последнее исправление: futurama (всего исправлений: 1)

lvm-raid

raid5 на трех древних дисках 1т

thin pool

я массив не мониторю

я впринципе с рейд’ами не дружу

У тебя тут комбо. Оно в любом случае скоро сломается, так что можно не вникать особо в вопросы ОП-поста.

BOOBLIK ★★★★
()
Последнее исправление: BOOBLIK (всего исправлений: 1)
Ответ на: комментарий от BOOBLIK

У тебя тут комбо. Оно в любом случае скоро сломается,

Я читаю посты и мягко говоря фигею. Сломается впринципе все. Из серии все там будем.) у меня за 13 лет практики умерло 2 ссд. И то не по доброй воле а изза скачка напряжения в сети. И не помог не упс за 2700$ ни бп за 240$.

Поэтому я впринципе пользуюсь постоянным бэкапом на отдельном железе. Особо важные даже дублируются в разных местах.

Месяц назад была ситуация. Нис того ни с сего разлетелся ZFS RAID6. «вылетело» 3 диска из 6. Даже смарт не показывали. Ребут - они на месте, а рейд уже не собирается. У всех трех invalid GPT. И это на micron 5400 max. Дискам 3 месяца отродясь.

Сама суть темы была разобраться в том, что происходит при создании рейдов и как тот или иной рейд влияет на производительность (в моем случае это обычная работа windows).

А по поводу lvm - есть классная штука autobackup. Да, сжирает место на системном диске, но! Скрипт который забирает бэкап мета в другое место и если диск сыпется, то впервую очередь страдает раздел с метаданными. И ничто не мешает побыстрому снять данные на другой диск и восстановить мета. а если по диску проехал трактор и он рассыпался - то…

alexni
() автор топика
Последнее исправление: alexni (всего исправлений: 1)