LINUX.ORG.RU
Форум — Admin  

ZFS Proxmox - монтирование дисков.

 ,


1

2

Приствую.

Задача получить доступ к дискам VM. (лишние строки буду убирать чтоб не засорять)

Вот проблема 

zfs set mountpoint=/mnt rpool/data/vm-803-disk-1
cannot set property for 'rpool/data/vm-803-disk-1': 'mountpoint' does not apply to datasets of this type
Конечно же инфо: 
root@pve13:~# zfs list 
NAME                           USED  AVAIL  REFER  MOUNTPOINT
rpool                          205G   694G   104K  /rpool
rpool/ROOT                     145G   694G    96K  /rpool/ROOT
rpool/ROOT/pve-1               145G   694G   145G  /
rpool/data                    51.1G   694G   112K  /rpool/data
rpool/data/subvol-901-disk-1   737M  9.28G   737M  /rpool/data/subvol-901-disk-1
rpool/data/vm-803-disk-1       582M   694G   582M  -


root@pve13:~# zfs get mounted
NAME                          PROPERTY  VALUE    SOURCE
rpool                         mounted   yes      -
rpool/ROOT                    mounted   yes      -
rpool/ROOT/pve-1              mounted   yes      -
rpool/data                    mounted   yes      -
rpool/data/subvol-901-disk-1  mounted   yes      -
rpool/data/vm-803-disk-1      mounted   -        -
root@pve13:~# zfs get mountpoint
NAME                          PROPERTY    VALUE                          SOURCE
rpool                         mountpoint  /rpool                         default
rpool/ROOT                    mountpoint  /rpool/ROOT                    default
rpool/ROOT/pve-1              mountpoint  /                              local
rpool/data                    mountpoint  /rpool/data                    default
rpool/data/subvol-901-disk-1  mountpoint  /rpool/data/subvol-901-disk-1  default
rpool/data/subvol-902-disk-1  mountpoint  /rpool/data/subvol-902-disk-1  default
rpool/data/subvol-903-disk-1  mountpoint  /rpool/data/subvol-903-disk-1  default
rpool/data/vm-603-disk-1      mountpoint  -                              -
rpool/data/vm-803-disk-1      mountpoint  -                              -
rpool/swap                    mountpoint  -                              -

root@pve13:~# zfs get all rpool/data/vm-803-disk-1
NAME                      PROPERTY              VALUE                  SOURCE
rpool/data/vm-803-disk-1  type                  volume                 -
rpool/data/vm-803-disk-1  creation              Tue Apr  3 15:54 2018  -
rpool/data/vm-803-disk-1  used                  582M                   -
rpool/data/vm-803-disk-1  available             694G                   -
rpool/data/vm-803-disk-1  referenced            582M                   -
rpool/data/vm-803-disk-1  compressratio         1.34x                  -
rpool/data/vm-803-disk-1  reservation           none                   default
rpool/data/vm-803-disk-1  volsize               197G                   local
rpool/data/vm-803-disk-1  volblocksize          8K                     default
rpool/data/vm-803-disk-1  checksum              on                     default
rpool/data/vm-803-disk-1  compression           on                     inherited from rpool
rpool/data/vm-803-disk-1  readonly              off                    default
rpool/data/vm-803-disk-1  createtxg             367363                 -
rpool/data/vm-803-disk-1  copies                1                      default
rpool/data/vm-803-disk-1  refreservation        none                   default
rpool/data/vm-803-disk-1  guid                  6354045710005334828    -
rpool/data/vm-803-disk-1  primarycache          all                    default
rpool/data/vm-803-disk-1  secondarycache        all                    default
rpool/data/vm-803-disk-1  usedbysnapshots       0B                     -
rpool/data/vm-803-disk-1  usedbydataset         582M                   -
rpool/data/vm-803-disk-1  usedbychildren        0B                     -
rpool/data/vm-803-disk-1  usedbyrefreservation  0B                     -
rpool/data/vm-803-disk-1  logbias               latency                default
rpool/data/vm-803-disk-1  dedup                 off                    default
rpool/data/vm-803-disk-1  mlslabel              none                   default
rpool/data/vm-803-disk-1  sync                  standard               inherited from rpool
rpool/data/vm-803-disk-1  refcompressratio      1.34x                  -
rpool/data/vm-803-disk-1  written               582M                   -
rpool/data/vm-803-disk-1  logicalused           775M                   -
rpool/data/vm-803-disk-1  logicalreferenced     775M                   -
rpool/data/vm-803-disk-1  volmode               default                default
rpool/data/vm-803-disk-1  snapshot_limit        none                   default
rpool/data/vm-803-disk-1  snapshot_count        none                   default
rpool/data/vm-803-disk-1  snapdev               hidden                 default
rpool/data/vm-803-disk-1  context               none                   default
rpool/data/vm-803-disk-1  fscontext             none                   default
rpool/data/vm-803-disk-1  defcontext            none                   default
rpool/data/vm-803-disk-1  rootcontext           none                   default
rpool/data/vm-803-disk-1  redundant_metadata    all                    default

Совершенно встрял вроде с не сложной задачей. Спасите помогите ) В ножки кляняюсь. Спасибо за любое участие.


← Автомонтирование шары
не получается зайти на алиас веб сервера →

так это volume у тебя. но я без понятия, как в этих ваших линаксах его подмонтировать на хосте. King_Carlo поди в курсе.

anonymous
()
Ответ на: комментарий от ishk0

как ещё можно быть диском если не быть volume? файлом на фс по старинке?
внутри volume может быть любая другая фс, это просто кусок пространства.

system-root ★★★★★
()
Ответ на: комментарий от system-root 
root@pve13:/dev/zvol/rpool/data# ls -lah 
lrwxrwxrwx 1 root root 13 Apr  3 15:54 vm-603-disk-1 -> ../../../zd16
lrwxrwxrwx 1 root root 13 Apr  3 15:54 vm-803-disk-1 -> ../../../zd32

root@pve13:/dev# fdisk -l
Disk /dev/zd16: 90 GiB, 96636764160 bytes, 188743680 sectors
Disklabel type: dos
Disk identifier: 0x0004df2f

Device      Boot   Start       End   Sectors  Size Id Type
/dev/zd16p1 *       2048   1026047   1024000  500M 83 Linux
/dev/zd16p2      1026048 115343359 114317312 54.5G 8e Linux LVM


Disk /dev/zd32: 197 GiB, 211527139328 bytes, 413138944 sectors
Disklabel type: dos
Disk identifier: 0x0002f30e

Device      Boot   Start       End   Sectors   Size Id Type
/dev/zd32p1 *       2048   1026047   1024000   500M 83 Linux
/dev/zd32p2      1026048 413138943 412112896 196.5G 8e Linux LVM

root@pve13:/dev# mount -t ext4 /dev/zd32p2 /mnt
mount: special device /dev/zd32p2 does not exist

«Вот это поворот». Как только попасть на него теперь не понятно. Последний рывок - с меня пиво! )

ishk0
() автор топика
Ответ на: комментарий от ishk0

man kpartx

Если кратко: то сначала kpartx -av /dev/zd32, ищи раздел в /dev/mapper (скорее всего это будет /dev/mapper/zd32p2)

После того как сделаешь свои дела и отмонтируешь раздел - kpartx -dv /dev/zd32

Pinkbyte ★★★★★
()

Примерно так монтирую win диски 

root@pvexeon:/dev/zvol/tanksas# ls -l
total 0
lrwxrwxrwx 1 root root 10 Apr  2 08:41 vm-1001-disk-1 -> ../../zd16
lrwxrwxrwx 1 root root 12 Apr  2 08:41 vm-1001-disk-1-part1 -> ../../zd16p1
lrwxrwxrwx 1 root root 12 Apr  2 08:41 vm-1001-disk-1-part2 -> ../../zd16p2
lrwxrwxrwx 1 root root 10 Apr  2 08:41 vm-1003-disk-1 -> ../../zd48
lrwxrwxrwx 1 root root 12 Apr  2 08:41 vm-1003-disk-1-part1 -> ../../zd48p1
lrwxrwxrwx 1 root root 12 Apr  2 08:41 vm-1003-disk-1-part2 -> ../../zd48p2
root@pvexeon:/dev/zvol/tanksas# mount -t ntfs /dev/zvol/tanksas/vm-1001-disk-1-part2 /1
root@pvexeon:/dev/zvol/tanksas# ls /1 -l
total 2490805
-rwxrwxrwx 1 root root     404250 Nov 21  2014 bootmgr
-rwxrwxrwx 1 root root          1 Jun 18  2013 BOOTNXT
lrwxrwxrwx 2 root root         60 Aug 22  2013 Documents and Settings -> /1/Users
-rwxrwxrwx 1 root root 2550136832 Sep 22  2017 pagefile.sys
drwxrwxrwx 1 root root          0 Aug 22  2013 PerfLogs
drwxrwxrwx 1 root root       4096 Jun  5  2017 ProgramData
drwxrwxrwx 1 root root       4096 Aug  1  2017 Program Files
drwxrwxrwx 1 root root       4096 Jun  5  2017 Program Files (x86)
drwxrwxrwx 1 root root          0 Nov 21  2014 $Recycle.Bin
drwxrwxrwx 1 root root          0 Jun  5  2017 sql
drwxrwxrwx 1 root root          0 Jun  5  2017 System Volume Information
drwxrwxrwx 1 root root       4096 Jun  5  2017 Users
drwxrwxrwx 1 root root      24576 Jun  5  2017 Windows

root@pvexeon:/dev/zvol/tanksas# zfs get all  tanksas/vm-1001-disk-1
NAME                    PROPERTY              VALUE                  SOURCE
tanksas/vm-1001-disk-1  type                  volume                 -
tanksas/vm-1001-disk-1  creation              Mon Jun  5  8:39 2017  -
tanksas/vm-1001-disk-1  used                  41.3G                  -
tanksas/vm-1001-disk-1  available             1.45T                  -
tanksas/vm-1001-disk-1  referenced            40.3G                  -
tanksas/vm-1001-disk-1  compressratio         1.00x                  -
tanksas/vm-1001-disk-1  reservation           none                   default
tanksas/vm-1001-disk-1  volsize               40G                    local
Вроде как все работает

pvvking ★★
()
Ответ на: комментарий от Pinkbyte

Друзья, спасибо что участвуете. 

root@pve13:~# kpartx -av /dev/zd32
add map zd32p1 (253:0): 0 1024000 linear 230:32 2048
add map zd32p2 (253:1): 0 412112896 linear 230:32 1026048

root@pve13:/dev/mapper# ls -lah
lrwxrwxrwx  1 root root       7 Apr  5 12:17 zd32p1 -> ../dm-0
lrwxrwxrwx  1 root root       7 Apr  5 12:17 zd32p2 -> ../dm-1

root@pve13:/dev/mapper# mount -t ext4 /dev/mapper/zd32p2 /mnt
mount: wrong fs type, bad option, bad superblock on /dev/mapper/zd32p2,
       missing codepage or helper program, or other error

       In some cases useful info is found in syslog - try
       dmesg | tail or so.


root@pve13:/dev/mapper# mount /dev/mapper/zd32p2 /mnt
mount: unknown filesystem type 'LVM2_member'

Вот тут уже ближе пошло 

root@pve13:~# lvscan
  inactive          '/dev/vg_sooi/lv_root' [50.00 GiB] inherit
  inactive          '/dev/vg_sooi/lv_home' [135.70 GiB] inherit
  inactive          '/dev/vg_sooi/lv_swap' [10.81 GiB] inherit

root@pve13:/dev/mapper# mount /dev/vg_sooi/lv_root /mnt
mount: special device /dev/vg_sooi/lv_root does not exist

root@pve13:/dev/mapper# ls /dev/vg_sooi/
ls: cannot access '/dev/vg_sooi/': No such file or directory

Что то всё не так. Подскажите что не так делаю. Спасибо что не бросили )

ishk0
() автор топика
Ответ на: комментарий от ishk0

Попробуй это если у тебя там нет разделов.

mount /dev/zvol/rpool/data/vm-603-disk-1 /mnt
Если есть разделы тогда см. выше
lrwxrwxrwx 1 root root 10 Apr  2 08:41 vm-1001-disk-1 -> ../../zd16             типа /dev/sda
lrwxrwxrwx 1 root root 12 Apr  2 08:41 vm-1001-disk-1-part1 -> ../../zd16p1     типа /dev/sda1
lrwxrwxrwx 1 root root 12 Apr  2 08:41 vm-1001-disk-1-part2 -> ../../zd16p2     типа /dev/sda2
типа /dev/sda ты смонтировать не сможешь

pvvking ★★
()
Ответ на: комментарий от pvvking

Разделы есть (там на ВМах Centos6.9)

вот мы их видим с ноды pve: 

 
root@pve13:/dev/mapper# fdisk -l
Disk /dev/sda: 931.5 GiB, 1000204886016 bytes, 1953525168 sectors
Device          Start        End    Sectors   Size Type
/dev/sda1          34       2047       2014  1007K BIOS boot
/dev/sda2        2048 1953508749 1953506702 931.5G Solaris /usr & Apple ZFS
/dev/sda9  1953508750 1953525134      16385     8M Solaris reserved 1

Disk /dev/zd16: 90 GiB, 96636764160 bytes, 188743680 sectors
Device      Boot   Start       End   Sectors  Size Id Type
/dev/zd16p1 *       2048   1026047   1024000  500M 83 Linux
/dev/zd16p2      1026048 115343359 114317312 54.5G 8e Linux LVM

Disk /dev/zd32: 197 GiB, 211527139328 bytes, 413138944 sectors
Device      Boot   Start       End   Sectors   Size Id Type
/dev/zd32p1 *       2048   1026047   1024000   500M 83 Linux
/dev/zd32p2      1026048 413138943 412112896 196.5G 8e Linux LVM

sda - сама Нода pve

zd16 и zd32 - диски ВМ (совпадают по размеру)

Нужен /dev/zd32p2 - там LVM. Так что kpartx -av /dev/zd32 - правильный путь. Только дальше упёрся.

ishk0
() автор топика
3 февраля 2020 г.

Путаются диски М2(M2) виртуальных машин не проблема

Проксмос Путаются диски М2(M2) виртуальных машин не проблема.

Каждый раздел имеет уникальный UUID

Чтобы диски не путались надо: узнать UUID диски М2(M2) виртуальных машин и прописать в fstab монтирование нужных дисков по UUID.
Лучше это сделать сразу после создания ПЕРВОЙ виртуалки или добившись правильной загрузки всех вирт. машин.

узнать UUID

~# lsblk -a -o+UUID
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT   UUID
loop0                7:0    0         0 loop  
              loop1                7:1    0         0 loop   
             loop2                7:2    0         0 loop   
             loop3                7:3    0         0 loop   
             loop4                7:4    0         0 loop   
             loop5                7:5    0         0 loop   
             loop6                7:6    0         0 loop   
             loop7                7:7    0         0 loop   
             sda                  8:0    0 465.8G  0 disk   
             ├─sda1               8:1    0  1007K  0 part   
             ├─sda2               8:2    0   512M  0 part /boot/efi    3228-C0C2
└─sda3               8:3    0 465.3G  0 part              mf6a85-NiCe-3doy-ptNm-4Pgz-l1i9-bvsRkD
 ├─pve-swap       253:0    0     8G  0 lvm  [SWAP]       26749180-70dd-4bff-b5ea-5cead746fe8a
 ├─pve-root       253:1    0    96G  0 lvm  /            8c970b58-d1c7-438d-890a-c10203672902
 ├─pve-data_tmeta 253:2    0   3.5G  0 lvm  
                │ └─pve-data     253:4    0 338.4G  0 lvm  
                └─pve-data_tdata 253:3    0 338.4G  0 lvm  
                  └─pve-data     253:4    0 338.4G  0 lvm  
               sdb                  8:16   0   9.1T  0 disk
               └─sdb1               8:17   0   9.1T  0 part /mnt/storage e7c8c229-c5d5-4298-aa6f-d2a01701772d
sdc                  8:32   1  14.4G  1 disk  
              └─sdc1               8:33   1  13.6G  1 part              E0C7-51D9
sr0                 11:0    1  1024M  0 rom  
               nvme1n1            259:0    0 931.5G  0 disk
               └─nvme1n1p1        259:2    0 931.5G  0 part /mnt/vm2     412a13d6-b14d-4d6d-96ae-fd3c72f52780
nvme0n1            259:1    0 931.5G  0 disk
               └─nvme0n1p1        259:3    0 931.5G  0 part /mnt/vm1     5f37d25d-73e4-4d4d-ab8e-e15dceeae961

Вот узнали все о дисках и разделах и точках монтирования и UUID. В дальнейшем понадобятся UUID из строк с точками монтирования вирт. машин.

Изменяем fstab

~# nano /etc/fstab

# <file system> <mount point> <type> <options> <dump> <pass>
/dev/pve/root / ext4 errors=remount-ro 0 1
UUID=3228-C0C2 /boot/efi vfat defaults 0 1
/dev/pve/swap none swap sw 0 0
proc /proc proc defaults 0 0
# mount SSD M2
# Изменения в монтировании /dev/nvme  на UUID внес User
#/dev/nvme0n1p1 /mnt/vm1        ext4    defaults        0       0
UUID=5f37d25d-73e4-4d4d-ab8e-e15dceeae961       /mnt/vm1        ext4    defaults        0       0
#/dev/nvme1n1p1 /mnt/vm2        ext4    defaults        0       0
UUID=412a13d6-b14d-4d6d-96ae-fd3c72f52780       /mnt/vm2        ext4    defaults        0       0
# mount HDD 10Tb
/dev/sdb1       /mnt/storage    ext4    defaults        0       0

Я всегда вношу комментарий перед изменением и подписываюсь при необходимости ставлю дату и время.

ВНИМАНИЕ !!! вместо пробелов надо ставить ОДНУ ТАБУЛЯЦИЮ


anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Автомонтирование шары
Admin
не получается зайти на алиас веб сервера →