Сообщения Sigizmund

Вопрос к гуру ZFS (zfsonlinux, странного хочется)

Доброго времени суток!

Вступление: до определенного времени для раздачи LUN-ов пользовал LVM. После чего попробовал ZFS, понравилось, но, возможно по привычке, мне не хватает функционала pvmove из LVM-а.

Но, тут вдруг вспомнилось, что ZFS (zvol) может работать с чем угодно...решил проверить...

Есть у меня 2 пула ZFS собранных на физических дисках, например RAID-6 и RAID-8 (это названия пулов, с уровнями RAID - ничего общего). Дальше пишу без соблюдения синтаксиса, просто чтоб понятно было:

zfs create -V 100g RAID-6/zvol-6
zfs create -V 100g RAID-8/zvol-8
zpool create MEDIA /dev/RAID-6/zvol-6 #создаем пул из zvol
zfs create -V 50g MEDIA/data          #создаем zvol для отдачи по LUN

zpool attach MEDIA /dev/RAID-6/zvol-6 /dev/RAID-8/zvol-8 #прицепили к пулу MEDIA еще один zvol из другого рейда и получили mirror
#ждем пока не закончится "ресильверинг"

zpool detach MEDIA /dev/RAID-6/zvol-6 #отцепили изначальный zvol

#ВУАЛЯ!!! данные MEDIA, а фактически то, что было на /dev/RAID-6/zvol-6 теперь на /dev/RAID-8/zvol-8 (на другом рейде)

проверил - работает :)

а теперь вопрос (вернее 2 вопроса):
1. нужно-ли соблюдать условие макс. заполненности пула MEDIA на 80%, дабы не потерять производительности?

2. не поедет-ли в итоге крыша у ZFS (ZOL) от такой конструкции? :)

Заранее благодарен всем за конструктив!

zfs, zfsonlinux

Sigizmund
(11.04.16 21:55:16 MSK)

16 комментариев

OpenMeetings: чистка мусора, как?

Доброго времени суток всем!

Подскажите, если кто знает, как в OpenMeetings удалить ненужные файлы записей/загрузок на доску, etc?

Например: в веб-интерфейсе запись (видео) удаляется, а на файловой системе сервера файлы остаются...та-же ситуация с файлами загруженными когда-то на «доску»...доска почищена, а файлы остались...

Удалять вручную - неизвестно какие файлы мусор, а какие еще нужны...

openmeetings

Sigizmund
(22.01.16 17:53:00 MSK)

2 комментария

CentOS 7 в XEN VM: чудеса в работе сетевых интерфейсов, да и только. Что это может быть?

Есть сабжевая оська в виртуалке под XEN-ом.

# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.3.32  netmask 255.255.255.0  broadcast 192.168.3.255
        ether 00:16:3e:13:4d:d6  txqueuelen 1000  (Ethernet)
        RX packets 3423  bytes 257941 (251.8 KiB)
        RX errors 0  dropped 1018  overruns 0  frame 0
        TX packets 572  bytes 204463 (199.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

# ifconfig eth2
eth2: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.4.32  netmask 255.255.255.0  broadcast 192.168.4.255
        ether 00:16:3e:52:e8:00  txqueuelen 1000  (Ethernet)
        RX packets 764  bytes 75664 (73.8 KiB)
        RX errors 0  dropped 554  overruns 0  frame 0
        TX packets 15  bytes 2205 (2.1 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

таблица роутинга:

# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         192.168.3.1      0.0.0.0         UG    0      0        0 eth0
default         192.168.4.1      0.0.0.0         UG    100    0        0 eth2
192.168.3.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
192.168.4.0      0.0.0.0         255.255.255.0   U     0      0        0 eth2
link-local      0.0.0.0         255.255.0.0     U     1002   0        0 eth0
link-local      0.0.0.0         255.255.0.0     U     1003   0        0 eth1
link-local      0.0.0.0         255.255.0.0     U     1004   0        0 eth2
192.168.2.0     0.0.0.0         255.255.255.0   U     0      0        0 eth1

iptables, selinux, NetworkManager отключены

# iptables -L -v
Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination


# nmtui
NetworkManager не работает.

# sestatus
SELinux status:                 disabled

пингуем шлюз с одного интерфейса:

# ping -I eth0 192.168.3.1
PING 192.168.3.1 (192.168.3.1) from 192.168.3.32 eth0: 56(84) bytes of data.
64 bytes from 192.168.3.1: icmp_seq=1 ttl=255 time=1.29 ms
64 bytes from 192.168.3.1: icmp_seq=2 ttl=255 time=1.93 ms
64 bytes from 192.168.3.1: icmp_seq=3 ttl=255 time=2.17 ms

за шлюзом:

# ping -I eth0 192.168.1.65
PING 192.168.1.65 (192.168.1.65) from 192.168.3.32 eth0: 56(84) bytes of data.
64 bytes from 192.168.1.65: icmp_seq=1 ttl=63 time=0.267 ms
64 bytes from 192.168.1.65: icmp_seq=2 ttl=63 time=0.269 ms
64 bytes from 192.168.1.65: icmp_seq=3 ttl=63 time=0.260 ms
64 bytes from 192.168.1.65: icmp_seq=4 ttl=63 time=0.264 ms

все вроде нормально.

пингуем шлюз с другого интерфейса:

# ping -I eth2 192.168.4.1
PING 192.168.4.1 (192.168.4.1) from 192.168.4.32 eth2: 56(84) bytes of data.
64 bytes from 192.168.4.1: icmp_seq=1 ttl=255 time=3.50 ms
64 bytes from 192.168.4.1: icmp_seq=2 ttl=255 time=1.35 ms
64 bytes from 192.168.4.1: icmp_seq=3 ttl=255 time=2.71 ms
64 bytes from 192.168.4.1: icmp_seq=4 ttl=255 time=0.936 ms

за шлюзом (сомтрим трафик):

#tcpdump -qn -i eth2 host 192.168.1.65
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth2, link-type EN10MB (Ethernet), capture size 65535 bytes
15:27:12.952547 IP 192.168.4.32 > 192.168.1.65: ICMP echo request, id 5086, seq 1, length 64
15:27:12.952829 IP 192.168.1.65 > 192.168.4.32: ICMP echo reply, id 5086, seq 1, length 64
15:27:13.952357 IP 192.168.4.32 > 192.168.1.65: ICMP echo request, id 5086, seq 2, length 64
15:27:13.952698 IP 192.168.1.65 > 192.168.4.32: ICMP echo reply, id 5086, seq 2, length 64
15:27:14.952361 IP 192.168.4.32 > 192.168.1.65: ICMP echo request, id 5086, seq 3, length 64
15:27:14.952766 IP 192.168.1.65 > 192.168.4.32: ICMP echo reply, id 5086, seq 3, length 64
15:27:15.952365 IP 192.168.4.32 > 192.168.1.65: ICMP echo request, id 5086, seq 4, length 64
15:27:15.952766 IP 192.168.1.65 > 192.168.4.32: ICMP echo reply, id 5086, seq 4, length 64

нормально, бегает...

а результаты самого пингования:

# ping -I eth2 192.168.1.65
PING 192.168.1.65 (192.168.1.65) from 192.168.4.32 eth2: 56(84) bytes of data.
--- 192.168.1.65 ping statistics ---
6 packets transmitted, 0 received, 100% packet loss, time 4999ms

т.е. получается, что трафик через интерфейс бегает как положено, но пинга нет...

как такое может быть? куда копать?

centos

Sigizmund
(13.11.15 16:37:27 MSK)

5 комментариев

ZFSonLinux: zpool expand/autoexpand при увеличении объема LUN у кого-нибудь работает?

Проблема: есть LUN, который я получаю по FC

# fdisk -l /dev/disk/by-vdev/LVM-SAMBA

Disk /dev/disk/by-vdev/LVM-SAMBA: 107.4 GB, 107374182400 bytes, 26214400 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 524288 bytes

Создаю на нем пулл:

#zpool create -f -o ashift=12 SMB /dev/disk/by-vdev/LVM-SAMBA

#zpool list -v
NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
SMB  99.5G   276K  99.5G         -     0%     0%  1.00x  ONLINE  -
  LVM-SAMBA  99.5G   276K  99.5G         -     0%     0%

# fdisk -l /dev/disk/by-vdev/LVM-SAMBA
WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.

Disk /dev/disk/by-vdev/LVM-SAMBA: 107.4 GB, 107374182400 bytes, 26214400 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 524288 bytes
Disk label type: gpt


#         Start          End    Size  Type            Name
 1         2048     26195967   99.9G  Solaris /usr &  zfs
 9     26195968     26212351     64M  Solaris reserve

Теперь я хочу увеличить размер LUN-а (из dmesg):

[1215785.131463] sd 2:0:0:8: [sdm] 91750400 4096-byte logical blocks: (375 GB/350 GiB)
[1215785.132673] sdm: detected capacity change from 107374182400 to 375809638400

# fdisk -l /dev/disk/by-vdev/LVM-SAMBA

Disk /dev/disk/by-vdev/LVM-SAMBA: 375.8 GB, 375809638400 bytes, 91750400 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 524288 bytes
Disk label type: dos
Disk identifier: 0x00000000

                      Device Boot      Start         End      Blocks   Id  System
/dev/disk/by-vdev/LVM-SAMBA1               1    26214399   104857596   ee  GPT

Пытаюсь расширить пулл:

# zpool online  -e SMB /dev/disk/by-vdev/LVM-SAMBA

Раздел вроде расширился:

# fdisk -l /dev/disk/by-vdev/LVM-SAMBA
WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.

Disk /dev/disk/by-vdev/LVM-SAMBA: 375.8 GB, 375809638400 bytes, 91750400 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 524288 bytes
Disk label type: gpt


#         Start          End    Size  Type            Name
 1         2048     91731967  349.9G  Solaris /usr &  zfs
 9     91731968     91748351     64M  Solaris reserve

Но размер пула остался прежний:

# zpool list -v
NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
SMB  99.5G   372K  99.5G         -     0%     0%  1.00x  ONLINE  -
  LVM-SAMBA  99.5G   372K  99.5G         -     0%     0%

Что я делаю не так?

ЗЫ: с autoexpand ситуация аналогичная, за исключением того, что еще и раздел не увеличивается.

zfsonlinux, zpool

Sigizmund
(26.10.15 23:09:15 MSK)

14 комментариев

samba4: в smb.conf перестали работать подстановки %G/%g

преамбула: есть домен работавший под самбой 3.6, решил обновиться на самбу 4.2

пути профилей были прописаны:

logon path = \\%L\profiles\%G\%U

после обновления случился сабж: при логине создается «нулевый» профиль и сохраняется в \\server_name\profiles\%g\UserName

это у всех так или только у меня?

ЗЫ: в мане smb.conf все по старому, т.е. вроде должен работать

ЗЫЗЫ: режим работы домена NT4

linux, opensuse, samba, smb-conf

Sigizmund
(18.07.15 16:21:53 MSK)

2 комментария

ZFS: zvol - размер блока. Поделитесь опытом плиз...

Суть вопроса в следующем: zvol можно создавать с размерами блока от 512 байт до 128 кБайт (по дефаулту 8 кБайт). В интернетах пишут, что для увеличения быстродействия «на некоторых типах нагрузок» целесообразно размер блока увеличить до 128к. На больших блоках действительно работает шустрее.

Но, если по статистике у меня получается что средний размер блока 32 или 64к, не облегчит-ли жизнь zvol-у установка именно таких блоков при создании тома (за счет уменьшения «оверхеда»)?

Оно-то можно поэкспериментировать, но поскольку размер блока устанавливается только при создании тома, это связано с переливанием достаточно больших объемов данных, что затратно по времени....

Может есть у кого опыт? Поделитесь плиз...

zfs

Sigizmund
(07.04.15 17:27:00 MSK)

48 комментариев

ZFS: zpool - перенос на другой хост (экспорт/импорт) проблема....

Преамбула: есть хост раздающий тома LVM через FC посредством SCST. Кроме всего прочего, к нему подключен JBOD (шасси с дисками). Изначально часть дисков использовалась под LVM+FC+SCST. Когда вышел релиз ZoL возникла мысль попробовать ZFS. Чтобы не экспериментировать на «боевом» хосте я оставшуюся часть дисков экспортировал на другой хост (через FC+scst_vdisk), к которому физически подключить диски другой возможности нет (это резервный «блейд» в шасси без SAS/SATA модуля). На этом, тестовом хосте, я собрал пул ZFS, поигрался, посоздавал тома с реальными данными, все понравилось...

Амбула: Теперь я решил перенести ZFS-пул на основной хост. Остановил все, что пользуется этим пулом, экспортировал пул, отключил SCSI диски пула в ОС, отключил экспорт дисков по FC на основном хосте.

Делаю на основном хосте zpool import, и что я вижу:

host:/etc # zpool import -d /dev/disk/by-vdev
   pool: RAID-10
     id: 149897041700488127
  state: UNAVAIL
 status: One or more devices contains corrupted data.
 action: The pool cannot be imported due to damaged devices or data.
   see: http://zfsonlinux.org/msg/ZFS-8000-5E
 config:

        RAID-10      UNAVAIL  insufficient replicas
          mirror-0   UNAVAIL  insufficient replicas
            D-1      UNAVAIL
            M-1      UNAVAIL
          mirror-1   UNAVAIL  insufficient replicas
            D-2      UNAVAIL
            M-2      UNAVAIL
          mirror-2   UNAVAIL  insufficient replicas
            D-3      UNAVAIL
            M-3      UNAVAIL
          mirror-3   UNAVAIL  insufficient replicas
            D-4      UNAVAIL
            M-4      UNAVAIL
          mirror-4   UNAVAIL  insufficient replicas
            D-6      UNAVAIL
            M-6      UNAVAIL
          mirror-5   DEGRADED
            D-5      UNAVAIL
            M-5      ONLINE
          mirror-6   UNAVAIL  insufficient replicas
            D-7      UNAVAIL
            M-7      UNAVAIL
        logs
          SSD-part1  ONLINE

Восстановил экспорт дисков, импортирую на тестовом хосте:

tst-host:/# zpool status RAID-10
  pool: RAID-10
 state: ONLINE
config:

        NAME         STATE     READ WRITE CKSUM
        RAID-10      ONLINE       0     0     0
          mirror-0   ONLINE       0     0     0
            D-1      ONLINE       0     0     0
            M-1      ONLINE       0     0     0
          mirror-1   ONLINE       0     0     0
            D-2      ONLINE       0     0     0
            M-2      ONLINE       0     0     0
          mirror-2   ONLINE       0     0     0
            D-3      ONLINE       0     0     0
            M-3      ONLINE       0     0     0
          mirror-3   ONLINE       0     0     0
            D-4      ONLINE       0     0     0
            M-4      ONLINE       0     0     0
          mirror-4   ONLINE       0     0     0
            D-6      ONLINE       0     0     0
            M-6      ONLINE       0     0     0
          mirror-5   ONLINE       0     0     0
            D-5      ONLINE       0     0     0
            M-5      ONLINE       0     0     0
          mirror-6   ONLINE       0     0     0
            D-7      ONLINE       0     0     0
            M-7      ONLINE       0     0     0
        logs
          SSD-part1  ONLINE       0     0     0
        spares
          SPARE      AVAIL

errors: No known data errors

Вопрос в том, как импортировать пул на основном хосте? Версия ZFS одиакова (ZFS скомпилена на обеих хостах с одних и тех-же src.rpm)

Теоретически можно перенести данные через zfs send/receive, но неначем собрать еще один пул достаточной емкости, а «отцепить» часть дисков из пула ZFS не разрешает....

ЗЫ: ладно-бы на основном хосте все диски были-бы в состоянии UNAVAIL, но раздел лога и один диск «онлайн»...

ЗЫЗЫ: если важно, оба хоста openSUSE 13.1

zfs, zpool

Sigizmund
(28.03.15 18:02:28 MSK)

40 комментариев

Странного хочется: «NPIV target» и «NPIV initiator» на одном FC контроллере возможно?

Сам вопрос в заголовке, но чуть уточню:

Есть линукс-сервер с FC контроллером, нужно чтобы этот контроллер выполнял функции как таргета, так и инициатора (напр. контроллер таргет, а NPIV-порт инициатор или наоборот или на одном контроллере 1 NPIV-порт инициатор, а другой NPIV-порт таргет), такое возможно?

Заранее сенькс за ответы!

ЗЫ: поиском не нашел подобного обсуждения...

Sigizmund
(05.12.14 13:41:16 MSK)

RSS подписка на новые темы