Низкая скорость копирования файлов в ВМ Proxmox

Про используемое железо все должны сами догадаться ?

Гипервизоры 2x Dell R710, 2x5690, 96Gb mem NAS - DL380 G7, 2x5620, 32Gb mem + 2xHBA LSI SAS2008 + HP D2700 + 1xIntel D4510 960Gb.

Так же в полке стоят SAS300 10k - ситуация со скоростью такая же.

Диски ВМ на NAS лежат ? Какая ФС выбрана для хранения образов ВМ ?
Гипервизор не свопится ?

Диски машинам как выдал?

Да, в шаре забраной через NFS. ФС не выбирал. Создал пул через веб морду, назначил точку монтирования, а затем опубликовал его через NFS. ФС вообще не выбирал, как узнать?

Гипервизоры без свопа.

фринас подключил по NFS

NFS и случайный доступ чет не очень дружат. Т.е. ты пишешь большой файл и каждый раз в нём что-то меняешь. Это nfs ставит раком.
Лучше iscsi запили.

Так а образы что из себя представляют?

Вы имеете ввиду raw формат хардов ВМ? С qcow2 тоже самое. Или что за случайный доступ вы имеете ввиду?

Давай-ка подмонтируй nfs к любой ОС, которую ты считаешь производительной и запусти тест fio с рандомной записью.
Ну или создай loop файл и пиши в него последовательно файлы, если тебе так удобно.

Эммм.. Файлы *.raw и *.qcow2. Если я правильно понял вопрос.

Вот не понял, это зачем?

Файлы? Которые лежат на файловой системе? Ну вот тебе и ответ.

cow

масло маслянное на zfs, + отдай под zfs не менее 16gb оперы, нарезай тома и отдавай по iscsi

Так и сделал. Но устройство в /dev/sdX не создается. Инструкций море, это дебиан, приводить не буду. В общем виде чт о делал, создал портал, цель, экстент. Нашел с ноды портал, цель и т.д. Говорю: iscsiadm -m node --targetname «iqn.2019-09.test.local:wm-iscsi-hdd» --portal «172.16.50.50:3260» --login

Мне в ответ радостно: Logging in to [iface: default, target: iqn.2019-09.test.local:wm-iscsi-hdd, portal: 172.16.50.50,3260] (multiple) Login to [iface: default, target: iqn.2019-09.test.local:wm-iscsi-hdd, portal: 172.16.50.50,3260] successful.

Но устройств новых не создается. Что я делаю не так?

iscsiadm -m session -P3

приводить не буду

Вангую, что что-то не так с таргетом сделали. Приводить надо. Перед этим попробуйте iscsi/iscsid перезапустить (или как он там в Debian называется).

Чтоб наглядно показать что nfs не годится для хранения образов ВМ.

iSCSI Transport Class version 2.0-870
version 2.0-874
Target: iqn.2019-09.test.local:wm-iscsi-hdd (non-flash)
Current Portal: 172.16.50.50:3260,1
Persistent Portal: 172.16.50.50:3260,1
**********
Interface:
**********
Iface Name: default
Iface Transport: tcp
Iface Initiatorname:
iqn.1993-08.org.debian:01:fc2c372c3ed
Iface IPaddress: 172.16.50.20
Iface HWaddress: <empty>
Iface Netdev: <empty>
SID: 2
iSCSI Connection State: LOGGED IN
iSCSI Session State: LOGGED_IN
Internal iscsid Session State: NO CHANGE
*********
Timeouts:
*********
Recovery Timeout: 120
Target Reset Timeout: 30
LUN Reset Timeout: 30
Abort Timeout: 15
*****
CHAP:
*****
username: <empty>
password: ********
username_in: <empty>
password_in: ********
************************
Negotiated iSCSI params:
************************
HeaderDigest: None
DataDigest: None
MaxRecvDataSegmentLength: 262144
MaxXmitDataSegmentLength: 131072
FirstBurstLength: 131072
MaxBurstLength: 16776192
ImmediateData: Yes
InitialR2T: Yes
MaxOutstandingR2T: 1
************************
Attached SCSI devices:
************************
Host Number: 3 State: runnin

Да что там можно сделать не так? Перезапуск не помогает.

ЛУНы-то созданы?

Ну, если все так, то ок. Вопрос закрыт.

Кхм... Что есть лун? 6 сас дисков объедены в пул. В пуле создан zvol. Zvol добавлен в экстентах. Всё делалось через веб морду.

NFS и случайный доступ чет не очень дружат.

ну вообще-то нормально у nfs всё с этим, и есть преимущества перед тем же iscsi.

Virtio использовал?

https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices

Что есть лун?

В выхлопе iscsiadm написано, что не найдено ни однго луна. Скорее всего это потому, что их нет.

Разберитесь «Что есть лун». Пошаговые руководство и вебморды ничего не дадут.

если в esxi цеплять, то nfs и iscsi примерно равны. в линуксе же с nfs какая-то печаль.

Будьте так любезны, разъясните что именно должно быть написано в случае удачного подключения?

Доходчиво! Благодарю! Пошел учить матчасть...

И так, «дело было не в бабине...»!
Не стоит сразу грешить на веб интерфейс, а данном случае freenas, тем более штука эта является коммерческой...
В конце концов, снеся всё к хер.м и открыв мануал, начал делать всё с самого начала и «по-слогам», т.е. прочитал строчку - ткнул мышкой, прочитал ещё строчку - вбил значение, etc. Выполняя оное, увидел что не всё-то я делал!
Я, с упорством барана завидным постоянством, раз за разом игнорировал последний пункт настройки таргетов iscsi во freenas, а именно не делал согласования таргетов и экстендов.
Как говорится, ларчик-то открывался просто!
При переходе с nfs на iscsi, скорость так же возросла до стабильного гигабита. Хотя я еще не проверял на свежей системе скорость NFS.
Если кому интересно, если опять же всё правильно делал, опыты показали, что lacp 802,3ad(агрегация линков) не складывает скорости линков, а наоборот, раскладывает весь трафик на несколько линков, т.е. получить скорость скачивания c 2х гигабитных линков = 2 гигабитам не получится.

Как-то так, Всем большое спасибо!

Агрегация линков работает только когда трафик идёт на разные маки или ip. Для iscsi идеально подходит multipath, а всяческие lacp и bond противопоказаны. Если непонятно как в проксе настроить multipath - спрашивай. Про freenas не подскажу, я в нём полный ноль.

не делал согласования таргетов и экстендов.

То есть, луны не создали. Как и было предсказано.

на свежей системе скорость NFS.

Файлы образов на zfs — это не будет работать.

Для iscsi идеально подходит multipath, а всяческие lacp и bond противопоказаны.

Т.е. я ошибаюсь и скорость копирования/чтения может возрасти в раз=кол-ву линков при использовании multipath?

Файлы образов на zfs — это не будет работать.

В процессе я это понял. NFS - это просто папка.

MPIO увеличивает скорость и повышает надежность. Можно спокойно сунуть линки в разные свичи и никоим образом не требуется эти линки агрегировать.

Можешь глянуть статью с табличкой
https://www.starwindsoftware.com/blog/lacp-vs-mpio-on-windows-platform-which-...

Занятная статья, т.е, при прочих равных, скорость отличается почти в 2 раза! Вы сами это проверяли? Пробовали эксперементировать со кол-вом линков/свитчами/вланами?

Делал подключение к днище СХД, скорость «дисков» там чуть больше гигабита. Поэтому 4 линка совсем незначительно добавляли скорость, но зато отказоустойчивость имеется.

Я правильно понял, MPIO не имеет ограничения по кол-в линков? Тогда как lacp имеет ограничение всего 8 линков на устройство.

Ограничения по количеству одновременных соединений, таргетов, и прочим прелестям скорее зависит от конкретных реализаций сервера и клиента.
Кмк правильней купить 10/40Gbe сетевые, чем городить по 100500 гигабитных линков.

Почитайте уже книжки, а не тыкайте на кнопочки в вебморде по мануалам. Сейчас вам насоветуют, а когда что-то пойдет не так, вы ничего не сможете исправить.

Если трудно найти самостоятельно, то вот, например. И там куча ссылок.

https://documentation.suse.com/sles/15-SP1/pdf/book-storage_color_en.pdf

Вы, как человек сведущий в этой теме, 10/40 гигабитное бюджетное БУшное оборудование какое посоветуете?
Да чтоб его в продакт не страшно стыдно поставить можно было?)))

Я сам не пробовал, но говрят что двухголовые 10Gbe интелы - неплохие. Можно найти на avito,ebay или у торгашей бу железа типа galtsystems,trinity.
За бу свичи не в курсе, могу только сказать, что свичам чисто под mpio не обязательны vlan и прочие плюшки.