Проблема с clvmd.

0

1

Коллеги, прошу помочь:

[root@node1 ~]# /usr/sbin/clvmd -d 1 -I mycluster
  local socket: connect failed: Connection refused
CLVMD[41167880]: Nov 15 01:49:56 CLVMD started
CLVMD[41167880]: Nov 15 01:49:56 Can't initialise cluster interface
  Can't initialise cluster interface.

в journalctl пишется:

Nov 15 01:49:56 node1.domain.com clvmd[34618]: Unable to create DLM lockspace for CLVM: Transport endpoint is not connected
Nov 15 01:49:56 node1.domain.com kernel: dlm: no local IP address has been set
Nov 15 01:49:56 node1.domain.com kernel: dlm: cannot start dlm lowcomms -107

весь гугл перерыл, ничего не смог найти. о каком интерфейсе идет речь и как его настроить ?
в man clvmd ничего не написано.

Ссылка

←	postfix и некорректные сообщения от бота

Клонирование ZFS или перенос данных

→

sudo cast ~~MyLittleLoli~~ && sudo cast upcFrost

dada ★★★★★
(15.11.16 09:56:29 MSK) автор топика

Ссылка

А dlm то настроен? И если да, то как.

/usr/sbin/clvmd -d 1 -I mycluster
mycluster

Тут разве не corosync, или что-то подобное должно быть? В мане говорится что доступые cluster manager'ы должны быть в выводе clvmd -h.

P.s. сам я clvm не настраивал, т.к. не получилось dlm завести.

Deleted
(15.11.16 10:44:56 MSK)
Последнее исправление: MyLittleLoli 15.11.16 10:45:16 MSK (всего исправлений: 1)

Ответ на: комментарий от Deleted 15.11.16 10:44:56 MSK

А dlm то настроен?

я только подгрузил его.
не знаю что еще надо делать

[root@node1 ~]# lsmod | grep dlm
dlm                   169682  0
sctp                  217455  5 dlm

clvmd -h не выводит ничего кроме help =(

[root@node1 ~]# clvmd -h
Usage: clvmd [options]
   -C       Sets debug level (from -d) on all clvmd instances clusterwide
   -d[n]    Set debug logging (0:none, 1:stderr (implies -f option), 2:syslog)
   -E<uuid> Take this lock uuid as exclusively locked resource (for restart)
   -f       Don't fork, run in the foreground
   -h       Show this help information
   -I<cmgr> Cluster manager (default: auto)
            Available cluster managers: corosync    -R       Tell all running clvmds in the cluster to reload their device cache
   -S       Restart clvmd, preserving exclusive locks
   -t<secs> Command timeout (default: 60 seconds)
   -T<secs> Startup timeout (default:  0 seconds)
   -V       Show version of clvmd

dada ★★★★★
(15.11.16 10:54:55 MSK) автор топика

Ответ на: комментарий от Deleted 15.11.16 10:44:56 MSK

А dlm то настроен?

ты имеешь ввиду dlm как ресурс кластера ?
у меня после создания ресурсов получается так:

 Clone Set: dlm-clone [dlm]
     Stopped: [ node1 node2 ]
 Clone Set: clvmd-clone [clvmd]
     Stopped: [ node1 node2 ]

а они должны быть Started.
из ошибок только проблема с сабж.

dada ★★★★★
(15.11.16 10:58:41 MSK) автор топика

Ответ на: комментарий от dada 15.11.16 10:54:55 MSK

Эм, это же только модуль, сам манагер блокировок рулится кластером через ресурс ocf:pacemaker:controld.

На хабре есть статья, там есть пункт про настройку clvm в pacemaker'е. https://habrahabr.ru/post/263091/

Deleted
(15.11.16 11:01:37 MSK)

Ссылка

Ответ на: комментарий от dada 15.11.16 10:58:41 MSK

А фенсинг настроен? Без него работать не будет.

Deleted
(15.11.16 11:02:52 MSK)
Последнее исправление: MyLittleLoli 15.11.16 11:03:06 MSK (всего исправлений: 1)

Ответ на: комментарий от Deleted 15.11.16 11:02:52 MSK

вроде да, я создаю ресурсы вот так:

[root@node1 ~]# pcs resource create dlm ocf:pacemaker:controld op monitor interval=30s on-fail=fence clone interleave=true ordered=true
pcs resource create clvmd ocf:heartbeat:clvm op monitor interval=30s on-fail=fence clone interleave=true ordered=true

это написано и в офф.документации и вот, к примеру, здесь: http://www.unixarena.com/2016/01/rhel7-configuring-gfs2-on-pacemakercorosync-...
что-то еще надо сделать ?

dada ★★★★★
(15.11.16 11:06:53 MSK) автор топика

Ответ на: комментарий от dada 15.11.16 11:06:53 MSK

Можешь pcs status показать?

Deleted
(15.11.16 11:18:40 MSK)

Ответ на: комментарий от Deleted 15.11.16 11:18:40 MSK

[root@node2 ~]# pcs status
Cluster name: mycluster
Last updated: Tue Nov 15 03:21:32 2016
Last change: Tue Nov 15 03:21:24 2016
Stack: corosync
Current DC: node1 (1) - partition with quorum
Version: 1.1.12-a14efad
2 Nodes configured
8 Resources configured


Online: [ node1 node2 ]

Full list of resources:

 virtual_ip     (ocf::heartbeat:IPaddr2):       Started node1
 webserver      (ocf::heartbeat:apache):        Started node1
 myservice_vip        (ocf::heartbeat:IPaddr2):       Started node2
 myservice     (systemd:FIMI): Started node2
 Clone Set: dlm-clone [dlm]
     Stopped: [ node1 node2 ]
 Clone Set: clvmd-clone [clvmd]
     Stopped: [ node1 node2 ]

Failed actions:
    dlm_start_0 on node1 'not configured' (6): call=44, status=complete, exit-reason='none', last-rc-change='Tue Nov 15 03:21:05 2016', queued=0ms, exec=83ms
    clvmd_start_0 on node1 'unknown error' (1): call=51, status=complete, exit-reason='Failed to launch /usr/sbin/clvmd, exit code 3', last-rc-change='Tue Nov 15 03:21:10 2016', queued=0ms, exec=230ms
    clvmd_start_0 on node2 'unknown error' (1): call=46, status=complete, exit-reason='Failed to launch /usr/sbin/clvmd, exit code 3', last-rc-change='Tue Nov 15 03:21:12 2016', queued=0ms, exec=221ms


PCSD Status:
  node1: Online
  node2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

dada ★★★★★
(15.11.16 11:22:50 MSK) автор топика

Ссылка

Ответ на: комментарий от Deleted 15.11.16 11:18:40 MSK

тут нужен stonith ?

dada ★★★★★
(15.11.16 11:24:31 MSK) автор топика
Последнее исправление: dada 15.11.16 11:24:59 MSK (всего исправлений: 1)

Ответ на: комментарий от dada 15.11.16 11:24:31 MSK

Ну так у тебя фенсинга нет, а без него не заведется dlm.

Deleted
(15.11.16 11:29:09 MSK)

Ссылка

Ответ на: комментарий от dada 15.11.16 11:24:31 MSK

Да.

Deleted
(15.11.16 11:31:01 MSK)

Ответ на: комментарий от Deleted 15.11.16 11:31:01 MSK

ok.
дай мне чуток времени, разберусь и отпишусь.
спасибо!

dada ★★★★★
(15.11.16 11:32:58 MSK) автор топика

Ссылка

Ответ на: комментарий от Deleted 15.11.16 11:31:01 MSK

так как мои машины на vmware, для stonith я выбрал fence_vmware_soap.
вот пример как это дело надо настроить: https://www.lisenet.com/2015/active-passive-cluster-with-pacemaker-corosync-a...
Вот сам ресурс:

[pcmk01]# pcs -f stonith_cfg stonith create my_vcentre-fence fence_vmware_soap \
 ipaddr=vcentre.local ipport=443 ssl_insecure=1 inet4_only=1 \
 login="vcentre-account" passwd="passwd" \
 action=reboot \
 pcmk_host_map="pcmk01-cr:vm-pcmk01;pcmk02-cr:vm-pcmk02" \
 pcmk_host_check=static-list \
 pcmk_host_list="vm-pcmk01,vm-pcmk02" \
 power_wait=3 op monitor interval=60s

я не понял что такое pcmk_host_map
куда в вмвари тыкать, что бы узнать этот порт.
я так понимаю, что можно и без него.

dada ★★★★★
(15.11.16 13:29:12 MSK) автор топика

Ответ на: комментарий от dada 15.11.16 13:29:12 MSK

нашел ответ в офф.документации redhat

The pcmk_host_map attribute is used to map node hostname as see by cluster to the name of virtual machine as seen on vmware hypervisor.

dada ★★★★★
(15.11.16 13:42:58 MSK) автор топика

Ответ на: комментарий от dada 15.11.16 13:42:58 MSK

В итоге-то завелось или нет?

Deleted
(15.11.16 14:32:47 MSK)

Ответ на: комментарий от Deleted 15.11.16 14:32:47 MSK

ну сейчас у меня dlm и clvmd завелся.
stonith пока не работает.
у нас подключение к вицентер идет через домэйн, что занимает около 10-ти секунд.
стунис пока отваливается по тайм-ауту.

dada ★★★★★
(15.11.16 14:42:32 MSK) автор топика