LINUX.ORG.RU
ФорумAdmin

Proxmox 6 multipath -ll ни чего не выводит

 , ,


0

1

Доброго времени! Установлен чистый Proxmox 6.0-1, настроено подключение iscsi, lsscsi видит устройства.

«Настроил» multipath с помощью этого мануала. И на строчке multipath -ll у меня тишина, ни чего не выводится.

Что может быть?

wwid «36589cfc000000cb2ff14ed101270a7d6» - одинаковый для 3х устройств.

root@node01:~# cat /etc/multipath.conf 
defaults {
        polling_interval        2
        path_selector           "round-robin 0"
        path_grouping_policy    multibus
        uid_attribute           ID_SERIAL
        rr_min_io               100
        failback                immediate
        no_path_retry           queue
        user_friendly_names     yes
}

blacklist {
        wwid .*
}

blacklist_exceptions {
        wwid "36589cfc000000cb2ff14ed101270a7d6"
}

multipaths {
  multipath {
        wwid "36589cfc000000cb2ff14ed101270a7d6"
        alias mpath0
  }
}

в /dev/mapper/ ни чего не cодается.



Последнее исправление: BadSimon (всего исправлений: 2)
Ответ на: комментарий от Deleted

Дак правильно же, это один и тот же «диск» подключенный 3мя путями.

lsscsi говгорит «вижу» 3 новых диска.

Я остановилься именно на том, что multipath -ll ни чего не выводит.

BadSimon
() автор топика
Ответ на: комментарий от Deleted

Есть два влана, по ним разведены сети. Первый влан для подключения к схд на 3 линка от каждой ноды и схд, второй «управление» по одному линку ото всех. Во влане для схд каждый линк в «своей сети», те 1 линк у всех в 172,16,1,*, второй линк 172,16,2,*, третий линк 172,16,3,*. У сети управления одна подсеть 192,168,0,*.

Друже, не туда копаем, с настройкой сети всё в порядке. Все пинугется и видится, диски новые появляются(lsscsi не даст соврать). Проблема на нодах, где установлен проксмокс. Кажется мне что в дистре, который на сайте проксмокса, есть нарочно допущенные «неувязочки», предназначенные для платной ТП и зарабатывания денег, соответственно. Потому как, ранее в рукожопости замечен я не был, но настроить, к примеру, FC соединение на нормальную работу так и не удалось. Есть у меня стойкое желание установить чистый дебиан, настроить мультипаф(или даже FC), проверить его работу и уже после этого накатить сверху проксмокс. Видится мне что в этом случае оно будет наконец работать как должно.

BadSimon
() автор топика
Ответ на: комментарий от anonymous

Благодарю, по всей видимости, я прав.

Буду тестить всё тоже самое в 5.4.

По результатам отпишусь во всех мои темах.

BadSimon
() автор топика
Ответ на: комментарий от BadSimon

я ничего не понял, что я должен попробывать. я погуглил за тебя, как в кривом прокс 6 на убунте написать find_multipaths no, чтобы заработал мальтипас.

У меня вагон кластеров на 5.4 с мультипасом на фибре. я все уже попробывал в этом плане.

anonymous
()
Ответ на: комментарий от anonymous

Я благодарю Вас за помощь, уважаемый! Гуглил, много гуглил, но, видимо, всё мимо!

Хочу поинтересоваться у вас конфой для сети схд на FC. Интересует какие HBA использовали для соединения? Какой свитч, модель?

У меня qlogic 2462/32, brocade 200e. PM6.0+FNAS11.2 - не удачный опыт.

BadSimon
() автор топика
Ответ на: комментарий от BadSimon

В общем, мультипаф запустил. Он, действительно, рабоает в 5.4. Но и тут не без ошибок у меня.

arp: 172.16.3.12 moved from 84:2b:2b:2b:22:57 to 84:2b:2b:2b:22:5b on bce3
WARNING: 172.16.3.12 (iqn.2019-10.pm.node02): connection error; dropping connection
arp: 172.16.1.12 moved from 84:2b:2b:2b:22:57 to 84:2b:2b:2b:22:59 on bce1
arp: 172.16.2.12 moved from 84:2b:2b:2b:22:59 to 84:2b:2b:2b:22:5b on bce2
WARNING: 172.16.1.12 (iqn.2019-10.pm.node02): connection error; dropping connection
WARNING: 172.16.2.12 (iqn.2019-10.pm.node02): connection error; dropping connection
arp: 172.16.3.12 moved from d4:ca:6d:f1:6a:db to 84:2b:2b:2b:22:5d on bce3
arp: 172.16.1.12 moved from d4:ca:6d:f1:6a:db to 84:2b:2b:2b:22:59 on bce1
arp: 172.16.2.12 moved from d4:ca:6d:f1:6a:db to 84:2b:2b:2b:22:5b on bce2
arp: 172.16.2.11 moved from a4:ba:db:3e:ff:ab to a4:ba:db:3e:ff:a5 on bce2
WARNING: 172.16.2.11 (iqn.2019-10.pm.node01): connection error; dropping connection
arp: 172.16.1.11 moved from a4:ba:db:3e:ff:ab to a4:ba:db:3e:ff:a9 on bce1
WARNING: 172.16.1.11 (iqn.2019-10.pm.node01): connection error; dropping connection
WARNING: 172.16.1.11 (iqn.2019-10.pm.node01): waiting for CTL to terminate 9 tasks
WARNING: 172.16.1.11 (iqn.2019-10.pm.node01): tasks terminated
arp: 172.16.2.11 moved from d4:ca:6d:f1:6a:db to a4:ba:db:3e:ff:a9 on bce2
arp: 172.16.1.11 moved from d4:ca:6d:f1:6a:db to a4:ba:db:3e:ff:a7 on bce1
arp: 172.16.3.11 moved from a4:ba:db:3e:ff:ab to a4:ba:db:3e:ff:a9 on bce3
WARNING: 172.16.3.11 (iqn.2019-10.pm.node01): connection error; dropping connection
WARNING: 172.16.3.11 (iqn.2019-10.pm.node01): connection error; dropping connection
WARNING: 172.16.3.11 (iqn.2019-10.pm.node01): connection error; dropping connection
arp: 172.16.3.11 moved from d4:ca:6d:f1:6a:db to a4:ba:db:3e:ff:ab on bce3

Это запущено 2е ВМ, и на одной из них копирую внутри ВМ файл-образ 4,7 гига.

Один раз было, стартануло копирование на 300, заем через секунды 2-3, график скорости копирование винды резко вниз и застыл, а в логе ноды ошибки.

[ 9298.203438] print_req_error: I/O error, dev sdb, sector 44521032
[ 9298.203510] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.204526] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.204983] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.205430] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.205879] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.206325] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.206775] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.207221] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.207669] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.208113] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.208562] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.208938] sd 5:0:0:0: rejecting I/O to offline device
[ 9298.209314] sd 5:0:0:0: rejecting I/O to offline device

А в логе фринаса ошибок нема.

BadSimon
() автор топика
Ответ на: комментарий от BadSimon

И так, я победил ошибки. Виной всему была не правильная прошивка в HBA адаптере, у меня LSI 9212-4i4e, нужно было поставить прошивку версии P16.

Теперь у меня другая проблема. При копировании файлА размером 4,7 гига у меня происходит падение скорости, выглядит это как "---\/--\/--" и, в самом конце, процесс копирования «задумывается» и у всех ВМ, работающих в этот момент, происходит зависание дисковой системы, но сами ВМ работают, просто пока процесс копирования не поставит точку, ни одна ВМ ни чего запустить не может. ВМ все Win2019. Причем, если не ограничивать скорость работы хардов виртуалок, а оставить чтоб «жгли на полную», тогда скорость копирования составляет 600-800 мегабайт в секунду(хотя у меня оптика на 4 гигабита), то падение скорости копирования «\/» происходит до нуля! Затем, через несколько секунд начинает расти и еще через пару секунд снова падает и так пока не поставит точку. Но, если ограничить скорость копирования до 50МБ/с, падение скорости копирования происходит до 15-20Мб/с, затем снова 50 и снова 15 и т.д.

Куда копать?

BadSimon
() автор топика
Ответ на: комментарий от BadSimon

Ошибок на портах сейчас нет, от слова совсем.

BadSimon
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.