Как-то так.

Вот инструкция от Dimez, как переезжать с одиночного диска на Raid1. В Вашем случае все несколько проще, потому что Вы сразу же имеете пару чисты дисков для сборки полноценного Raid1.

Соответственно, алгоритм простой - разбиваете новые диски на разделы, создаете RAID1, на нужном разделе (видимо, /dev/md2, аналог Вашего /dev/sda3) cоздаете тома lvm (такие же, как и на исходном диске), монтируете их в исходную систему, далее копируете данные, ставите груб или любой другой загрузчик на raid1, правите /etc/fstab.

Если что-то пошло не так, у Вас всегда остается исходный диск с рабочей системой - можно вернуться на несколько шагов назад и исправить ошибку.

Если не разбираешься в raid, то используй raid в рамках lvm. Преобразуешь lv в raid1 тип с тремя зеркалами, указав два новых диска. Для этого достаточно документацию почитать. Остается переустановить загрузчик. Потом старый диск можно убрать, но не забыть перенастроить на два зеркала.

На самом деле у тебя довольно простой случай. Нужно разметить sdb и sdc, затем сделать примерно следующее (я пишу команды, но не нужно их бездумно копировать в терминал)

Ты всегда можешь воткнуть 3 дешёвых флешки в любой комп с линуксом и потренироваться на них.

Всё это можно сделать не прерывая работы сервера и не отключая клиентов, в рабочее время. LVM делает операции с томами с нониженным приоритетом, так что в типичной конторе «рога и копыта» пользователи не должны заметить просадку производительности. Но вот переезд они тебе замедлят.

# создаём pv (физический раздел LVM)
pvcreate /dev/sd{b,c}3
# добавляем в существующуя vg - группу томов
vgextend centos /dev/sd{b,c}3
# теперь самое интересное
# конвертируем обычный том в raid1
# мы хотим (пока что) использовать все три диска,
# это значит 2 дополнительные копии данных, отсюда число два:
lvconvert --type raid1 --mirrors 2 /dev/centos/root /dev/sd{b,c}3

# повторить для остальных томов:
# свап
lvconvert --type raid1 --mirrors 2 /dev/centos/swap /dev/sd{b,c}3
# home большой, это займёт мнооого времени
lvconvert --type raid1 --mirrors 2 /dev/centos/home /dev/sd{b,c}3



# после успешного завершения у тебя будет три трёхголовых raid1,
# старые головы можно ликвидировать после тестирования ЕСЛИ ВСЁ ХОРОШО.
# я бы погонял сервер на трёх дисках некоторое время, и только потом вывел бы старичка:
# уменьшаем дублирование на 1, говорим, что выкидывать самый старый диск
lvconvert --mirrors -1 /dev/centos/root /dev/sda3
# повторить для остальных томов:
lvconvert --mirrors -1 /dev/centos/swap /dev/sda3
lvconvert --mirrors -1 /dev/centos/home /dev/sda3
vgreduce centos /dev/sda3
pvremove /dev/sda3

Ещё важный момент: я не коснулся переноса /boot который у тебя вне LVM. Я не знаю, у тебя там UEFI или GRUB но все их потроха придётся вручную скопировать на каждый из дисков. Иначе система не сможет загрузиться без старого диска, а тебе наверное надо, чтобы грузилась с любым одним из двух новых. Я у себя заленился это делать и забил, гружусь с одного диска.

При перезагрузках sda, sdb и sdc могут поменяться местами, будь бдителен!

Как уже писали выше - делаешь рейд, копируешь туда с помощью rsync всё, что было. Затем чрутишься, правишь fstab, ставишь загрузчик.

Вот инструкция от Dimez

Офигеть, я и сам про неё забыл уже.

Делаешь raid1 (mdadm)

Делаешь 2 раздела, для /boot 512m, для PV все остальное (parted)

PV – pvcreate

Добавляешь новый PV в существующую VG (vgextend)

Переносишь данные со старого диска (pvmove)

Выкидываешь старый диск из VG (vgreduce)

Копируешь /boot (dd, rsync, …). правишь /etc/fstab

И grub-install /dev/md0 (или как там новый raid называться будет)

Зачем вы все ему советуете mdadm если там уже есть живой LVM?

При зеркале на LVM работает только один диск для всех потоков (при чтении), а на mdadm потоки разбросает по дискам (при чтении)

я и сам про неё забыл уже.

:). Сеть помнит все и про всех ;).

А надо не lvc*e -m Number --type mirror использовать, а --type raid1, или вообще явно не задавать, т.к. он уже лет 6 по умолчанию. А вести он должен себя почти так же.

man lvmraid

LVM RAID uses both Device Mapper (DM) and Multiple Device (MD) drivers from the Linux kernel. DM is used to create and manage visible LVM devices, and MD is used to place data on physical devices.

милчеловек, ты попробуй на практике, тогда и поговорим. Я пробовал и теперь у меня под LVM живет mdadm, хоть решение на уровне LVM и гибче, но менее производительно.

Если читает один процесс, то ускорения действительно нет наблюдается. А если два - то они друг другу не мешают.

проблема

действовал таким образом:

sgdisk /dev/sda -R /dev/sdb sgdisk /dev/sda -R /dev/sdc

mdadm –create –verbose /dev/md0 –level=0 –raid-devices=2 /dev/sdb /dev/sdc

pvcreate /dev/md0

vgextend centos /dev/md2

pvmove /dev/sda3 /dev/md2

после окончания сервер сам ребутнулся и больше lvm не доступен.

vgchange -ay пробовал, не работает. lvscan пишет что все активны.

что можно предпринять? работа сервера встала. прошу вашей помощи

что можно предпринять?

Пойти покушать и повеситься (с)

Не считая всего бреда, непонятно одно, откуда взялся /dev/md2 ?

а где grub-install ?

iostat запускал? видел распределение нагрузки по дискам?

я нет.

Если читает один процесс

то в обоих случаях lvm/mdadm, работает только один диск к сожалению. А при нескольких потоках … как я говорил ранее mdadm лучше.

Может за последние 5-10 лет что-то изменилось в lvm, но я сомневаюсь.

Если ты не понимаешь, что и как делать, то в первую очередь нужно сделать backup.

А затем, перед выполнением команд на целевой системе потренироваться на кошках, например на другом ПК или виртуалке.

Backup есть?

Показывай вывод

lvdisplay -C
vgdisplay
pvdisplay

Если система не загружается, то тебе придётся грузиться с любого LiveCD / LiveUSB и выполнять команды с него.

проблема

делал по мануалам, было примерно так:

перенес разметку

sgdisk /dev/sda -R /dev/sdb sgdisk /dev/sda -R /dev/sdс

собрал массив

mdadm –create –verbose /dev/md1 –level=0 –raid-devices=2 /dev/sdb2 /dev/sdc2 mdadm –create –verbose /dev/md2 –level=0 –raid-devices=2 /dev/sdb3 /dev/sdc3

#созадл lv pvcreate /dev/md2

присоединил к текущему

vgextend centos /dev/md2 #перенес данные pvmove /dev/sda3 /dev/md2

последний шаг длился сутки, и вчера под вечер сервер сам ребутнулся и больше диски виртуалок в lve не появились.

загрузчик еще не менял, грузится со старого (sda2).

sda1 это 1 мбайт отступа в начале диска.

все lve томы активны, но не видны почему то. Немогу найти может где то точки монтирования нужно поменять, но хотя вроде нет, я же просто расширил существующий.

единственное что мне непонятно, почему номера md после ребута поменялись. может в этом проблема? но сейчас lvm видно 7 терабайт, т.е. старый диск полностью и рейд полностью.

/boot (100M)

Ну и насоветовал.

и вчера под вечер сервер сам ребутнулся

Почему это произошло?

И была ли к этому моменту завершена процедура переноса физического тома?

Все-таки я отстал от жизни, LVM mirror таки распределяет потоки по дискам (нашел одну систему с lvm mirror, RHEL 6.6)

проблема

проблем с питанием не было, стоит ИБП. Другие серверы не ребутались, значит просадки тож не было.

последние сообщения в логах перед ребутом

Dec 2 21:25:02 cl1-s2-n1 libvirtd: 2019-12-02 18:25:02.490+0000: 30621: error : virStorageBackendLogicalMatchPoolSource:662 : конфигурация не поддерживается: cannot find logical volume group name ‘CloudKVM’ Dec 2 21:28:21 cl1-s2-n1 lvmpolld: W: #011LVPOLL: PID 25481: STDERR: ’ One or more devices used as PVs in VG centos have changed sizes.’ Dec 2 21:28:21 cl1-s2-n1 lvmpolld: W: #011LVPOLL: PID 25481: STDERR: ’ WARNING: Device /dev/md2 has size of 7812743168 sectors which is smaller than corresponding PV size of 7813003264 sectors. Was device resized?’ - повторяется в конце пять раз.

в 21:30 уже идут записи ио загрзке…

kernel panic и подобного нет.

самого вывода консиоли в момент ребута не видел, но примерно в это время и должен был закончитс перенос. В районе 18 часов смотрел было около 80%.

было примерно так

Ну как было примерно так видимо примерно и получилось.

level=0
видно 7 терабайт

Очень странно, ну точно такого быть не должно при двух 4Тб дисках в нулевом рэйде.
Вы продолжайте «экскриметны» "по мануалам"

проблема

нет, опечатка в моем сообщении. raid level=1

Ну то есть мы должны телепатически узнать все ваши опечатки?
Вам уже много раз написали, нет опыта сначала тренируйтесь. И даже если есть опыт, надо для себя составить четкую подробную инструкцию и только потом действовать.

Device /dev/md2 has size of 7812743168 sectors which is smaller than corresponding PV size of 7813003264 sectors. Was device resized?’

Ты логи читал? Он тебе говорит, что размер /dev/md2 меньше размера физического тома на диске.

Ты почему не посмотрел, что размеры отличаются?

Разница в 260096 секторов, т.е. 133169152 байта или 130 048 Кбайт или 127 мегабайт.

Слишком большая разница.

Бэкап есть?

Если система загружается, то показывай вывод:

lvdisplay -C
vgdisplay
pvdisplay

127 мегабайт
Слишком большая разница.

Неа. Для случая разных разных дисков, это не так уж и много, тем более при размере в 4ТБ. Новые могут быть меньше.

проблема

сейчас данные вернул на исходный диск чере pvmove но я так понимаю не монтируется никуда lvm

lvdisplay -C
  LV   VG     Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  home centos -wi-a----- <3,58t
  root centos -wi-ao---- 50,00g
  swap centos -wi-ao---- 11,81g
vgdisplay
  --- Volume group ---
  VG Name               centos
  System ID
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  34
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                3
  Open LV               2
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               <7,28 TiB
  PE Size               4,00 MiB
  Total PE              1907438
  Alloc PE / Size       953720 / <3,64 TiB
  Free  PE / Size       953718 / <3,64 TiB
  VG UUID               kbOwJE-FU65-oxVE-2HNN-WFcY-2ffw-qdH94X

pvdisplay
  --- Physical volume ---
  PV Name               /dev/sda3
  VG Name               centos
  PV Size               <3,64 TiB / not usable 0
  Allocatable           yes
  PE Size               4,00 MiB
  Total PE              953736
  Free PE               16
  Allocated PE          953720
  PV UUID               jPyQ8k-tMqp-sBRt-XxeX-zqrP-QxfY-D6ppOZ

  --- Physical volume ---
  PV Name               /dev/md126
  VG Name               centos
  PV Size               <3,64 TiB / not usable 3,00 MiB
  Allocatable           yes
  PE Size               4,00 MiB
  Total PE              953702
  Free PE               953702
  Allocated PE          0
  PV UUID               qwlcVk-8cgN-2rd1-9Hh5-mh82-pFb1-Xr0Y5A

на сервере было около 1тб свободно еще, использовано около 3тб

Покажи вывод команды

mount

проблема

сейчас так

 mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,size=34950884k,nr_inodes=8737721,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/mapper/centos-root on / type xfs (rw,relatime,attr2,inode64,noquota)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=26,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=278)
mqueue on /dev/mqueue type mqueue (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
nfsd on /proc/fs/nfsd type nfsd (rw,relatime)
/dev/sda2 on /boot type xfs (rw,relatime,attr2,inode64,noquota)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=6992464k,mode=700)

при попытке смонтировать вылезает

 mount  /dev/centos/home /home
mount: unknown filesystem type 'LVM2_member'

проблема

раньше диски вирт машин с lve были в /dev/CloudKVM/, но как они монтировались туда незнаю.

Год написания посмотри :) Тогда это было овер-много.

Да оно и сейчас не так что бы мало для одного-двух-трех ведр. Другой вопрос если хранить много версий initramfs коих «плодиться как мух» в rh :)
Например в дебе9 у меня
82M boot

при попытке смонтировать вылезает

 mount  /dev/centos/home /home
mount: unknown filesystem type 'LVM2_member' 

ну судя по топику все логично, оно у вас и раньше не было смонтировано. Отдано под разделы для виртуалок.

Натыкался на ситуацию, что /boot в 100Mb не хватает для 2х ядер в бубунте в определённых ситуациях (собирание модуля через dkms). После этого перестал выделять отдельно /boot

проблема

подскажите, как можно вытащить образы дисков от вртуалок оттуда?

Так я и не спорю, что теперь этого может оказаться мало. Не более чем замечания о том что и 100М может хватить :)

Что значит образы в вашем понимании? Это блочные разделы которые отданы виртуалкам тоесть обычные разделы на диске. Это было изначально в топике. Судя по изменяемым данным в ваших выхлопах и путаницы в показания что именно делали, и что у вас сейчас получилось мы не знаем.

проблема

да, это разделы с данными виртуалок.

их можно как то извлечь?

их можно как то извлечь?

Бэкапы самое быстрое.

Этот /dev/centos/home представляет собой PV, если его не видно по pvs, то вероятно в /etc/lvm/lvm.conf есть фильтр

проблема

в pv есть тольк centos.

а в centos вложены еще swap и home.

в home находятся разделы с виртуалкам.

home видноб а что ниже home - нет. при этом по занятому пространству видно что home полон, но открываь не открывается.

может кто готов помочь за оплату, оч нужно

может кто готов помочь за оплату, оч нужно

Создавайте тему здесь www.linux.org.ru/forum/job/

ЗЫ Бэкапов видимо тоже не было. Рекомендую быстро по собственному писать.

pvdisplay /dev/centos/home

проблема

пишет Failed to find physical volume «/dev/centos/home». файлы в этой папке есть

  └─centos-home                253:2    0   3,6T  0 lvm
    ├─CloudKVM-vm1-real        253:3    0   200G  0 lvm
    ..............
    └─CloudKVM-vmN             253:38   0     8G  0 lvm

Как тогда под centos-home могут быть блочные устройства Cloud* ?