LINUX.ORG.RU
ФорумAdmin

Непонятное изменение скорости сети FreeBsd в виртуализации

 ,


0

2

Здравствуйте. Прошу помочь выявить причину проблем с сетью на FreeBsd

Исходные данные:

Сервер Супермикро. На нем поднята бесплатная виртуализация ESXi 6.0. Внутри виртуализации Фрибсд 11.0. Роль виртуальной машины – почтовый сервер: Postfix, Dovecot, Fail2Ban, Spamassasin, MC,. Из портов поставлены VMtools, в последствии отключен их запуск из RC.CONF. В качестве фаервола используется PF. Ограничений на внутреннем интерфейсе нет. 2 сетевухи на внутренний и внешний интерфейс. Сетевая карта для внутреннего интерфейса VMXNET3, для внешнего –обычный гигабит, который предоставляет виртуализация

Описание проблемы:

На фряхе монтируется по самбе и нфс 2 шаары. Шары располагаются на другом физическом сервере. Сервера находятся в разных подсетях. С недавних пор заметил, что скорость копирования файлов резко снизилась, и вдобавок ко всему еще и динамически пляшет. При гигабитной сети скорость по самбе достигает максимум 20 МБ в секунду. Ранее скорость по НФС была значительно выше чем по самбе, сейчас же происходят чудеса. При инициировании копирования через MC скорость по нфс начинается от 10 МБ в секунду и через 20 секунд снижается до 5 МБ\с

Диагностика проблемы:

1. В существующей виртуальной среде подняты ДОПОЛНИТЕЛЬНО 2 машины одна фрибсд 11.1(Чистая, без ПО) и виндус 7. Все машины находятся в одной подсети вместе с почтовой фрёй. Подключены к одному виртальному коммутатору. На виндус 7 расшарена папка. На обоих Freebsd примонтирована она через mount_smbfs.

Копирование файла с чистой фрибсд происходит со скоростями близкими к гигабиту.

Копирование с больной фрибсд происходит на очень низких скоростях. Если запустить копирование через миднайт командер, то видно что первые 2 секунды скорость близка к гигабиту а потом резко снижается в 10-15 раз и составляет порядка 5-8 мегабит. При этом бывают моменты повышения скорости до 15-20. Проблемы косвенно ощущаются при подключение к больной машине через SSH, ощущаются задержки и подтормаживания.

2. Установлен Iperf. Абсолютно во всех эксперементах он дает отличную скорость. Хоть с виртуальными машинами в том числе и больной!!!, хоть с другими физическими в сети.

3. Копирование файлов внутри виртуальной больной машины происходит быстро, дисковый ресурс не занят.

4. TOP показывает загруженность 0,5

5. В больной виртуальной машине ОЗУ 16 гигов, ЦПУ 8 ядер Прошу помочь направить как можно выявить проблему.

Едиственное что я еще не пробовал, это заменить на почтовой,больной фрибсд адаптер с VMXNET на стандартный гигабитный адаптер E1000 Никаких действий в ближайшее время с машиной не производилось.

Я немного ошибся.

Я немного ошибся - локальное копирование происходит ооочень тормознуто!!!!! На больной врибсд 3 раздела. Копирование внутри раздела происходит очень замедленно!!!! начинается скорость большая, а потом происходит падение до 20 мегабайт в секунду. Это безумнор низкая скорость для нашего рэйда....обычно было около 200-300

vehpbkrby
() автор топика

Дропы пакетов на сетевках есть(на отправителе, на получателе, в виртуалке)? На свичах?

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Здравствуйте. Дропы не смотрел, но причина выявляется в проблеме ДИСКОВ, при локальном копировании(cp /tmp/namefile /tmp/testdir) Сейчас скорость копирования бэкапа составляет около 800 КБ в секунду.... Проблема уже точно не в сети...(другие виртуалки проблем не испытывают, причем и в дисках тоже)

dT: 1.033s w: 1.000s

L(q) ops/s r/s kBps ms/r w/s kBps ms/w %busy Name

0 0 0 0 0.0 0 0 0.0 0.0| fd0

0 13 2 62 7.3 11 686 6.6 7.2| da0

0 12 0 0 0.0 12 705 5.8 5.9| da1

0 0 0 0 0.0 0 0 0.0 0.0| da2

0 0 0 0 0.0 0 0 0.0 0.0| cd0

0 0 0 0 0.0 0 0 0.0 0.0| da0p1

0 13 2 62 7.3 11 686 6.6 7.2| da0p2

0 0 0 0 0.0 0 0 0.0 0.0| da0p3

1 12 0 0 0.0 12 705 5.8 5.9| da1p1

0 0 0 0 0.0 0 0 0.0 0.0| da2p1

0 0 0 0 0.0 0 0 0.0 0.0| gptid/2274d943-49ea-11e7-a59c-000c29001bf4

vehpbkrby
() автор топика
Ответ на: комментарий от vehpbkrby

Убедился, что проявляется только на этой машине. На других все в норме.

vehpbkrby
() автор топика
Ответ на: комментарий от vehpbkrby

но причина выявляется в проблеме ДИСКОВ

Какой драйвер контроллера жестких дисков используется? Не могу подсказать конкретную команду - с фряхой давно не имел дела

Pinkbyte ★★★★★
()
Ответ на: комментарий от VKraft

аппаратный контроллер AGAVO (на супермикро). в виртуализации: три сказевых диска (стандартные диски, без каких либо явных указаний конфигуриций). Внутри фрибсд: знаю только как можно что то посмотреть через dmesg:

da0 at mpt0 bus 0 scbus2 target 0 lun 0 da0: <VMware Virtual disk 1.0> Fixed Direct Access SCSI-2 device da0: 320.000MB/s transfers (160.000MHz, offset 127, 16bit) da0: Command Queueing enabled

(da2:mpt0:0:2:0): UNMAPPED da0: 1048576MB (2147483648 512 byte sectors) da0: quirks=0x40<RETRY_BUSY> da1 at mpt0 bus 0 scbus2 target 1 lun 0 da1: <VMware Virtual disk 1.0> Fixed Direct Access SCSI-2 device da2 at mpt0 bus 0 scbus2 target 2 lun 0 da2: <VMware Virtual disk 1.0> Fixed Direct Access SCSI-2 device da1: 320.000MB/s transfers (160.000MHz, offset 127, 16bit) da1: Command Queueing enabled da1: 20971520MB (42949672960 512 byte sectors) da1: quirks=0x40<RETRY_BUSY> da2: 320.000MB/s transfers (160.000MHz, offset 127, 16bit) da2: Command Queueing enabled da2: 1048576MB (2147483648 512 byte sectors) da2: quirks=0x40<RETRY_BUSY> cd0 at ata1 bus 0 scbus1 target 0 lun 0 cd0: <NECVMWar VMware IDE CDR10 1.00> Removable CD-ROM SCSI device cd0: Serial Number 10000000000000000001 cd0: 33.300MB/s transfers (UDMA2, ATAPI 12bytes, PIO 65534bytes) cd0: Attempt to query device size failed: NOT READY, Medium not present cd0: quirks=0x40<RETRY_BUSY> SMP: AP CPU #3 Launched! SMP: AP CPU #2 Launched! SMP: AP CPU #1 Launched! SMP: AP CPU #5 Launched! SMP: AP CPU #6 Launched! SMP: AP CPU #4 Launched! SMP: AP CPU #7 Launched!

Trying to mount root from ufs:/dev/da0p2 [rw]... WARNING: / was not properly dismounted WARNING: /mnt_maildir was not properly dismounted Waiting (max 60 seconds) for system process `vnlru' to stop... done Waiting (max 60 seconds) for system process `bufdaemon' to stop... done Waiting (max 60 seconds) for system process `syncer' to stop... Syncing disks, vnodes remaining... 0 0 done All buffers synced.

Увидел у себя проблемы с некоректным предыдущим монтированием. Вечером перезагружу и проверю раздел..

vehpbkrby
() автор топика
Ответ на: Я немного ошибся. от vehpbkrby

начинается скорость большая, а потом происходит падение до 20 мегабайт в секунду

Помнится такое лечится тюнингом tcp (send/receive)space и отключением automatic tcp send/receive buffer size. Жаль сейчас нету сервера на котором это настраивал. Погугли на эту тему.

iron ★★★★★
()
Ответ на: комментарий от vehpbkrby

слишком много влияющих факторов. сервис vmware-toolsd даёт корректное завершение при перезагрузках/остановах хоста. точно надо посмотреть КАКОЙ дисковый контролёр лучше юзать для фряхи в KB from vmware, если конечно это играет роль. давно не юзал вмварь но помню что контролёр у меня для фряхи был LSI на хосте. ещё, возможно из пушки по воробьям, распределял дисковое пространство под контейнер при инициализации - т.е. образ виртуального диска на хосте = объёму который виден гостем. ещё есть приоритезация ввода/вывода на хосте, туда не лез - раунд-робин для всех был. может влиять заполненость ФС в госте в процентах от выделенного + динамическое выделение на хосте = возможный затык. я-бы проверил контроллер на хосте и какой он размер блока выдаёт в хост-систему. должен 512 байт,всегда так но вдруг 4к, тогда возможно в этом дело.

VKraft ★★
()
Ответ на: комментарий от VKraft

Задача не простая...

Я сейчас для эксперимента развернул бэкап. Виртуальная копия работает быстро и без проблем...

vehpbkrby
() автор топика
Ответ на: комментарий от VKraft

Больная: Filesystem Size Used Avail Capacity

Mounted on

/dev/da0p2 988G 4.6G 904G 1% /

devfs 1.0K 1.0K 0B 100% /dev

/dev/da1p1 19T 34G 18T 0% /mnt_maildir

/dev/da2p1 992G 269G 643G 30% /mnt_backup

192.168.1.7:/mnt_nfs 30T 12T 18T 39% /mnt_nfs

//username@SUPERMIC/BOXOFMAIL 30T 12T 18T 39% /mnt_smb

vehpbkrby
() автор топика
Ответ на: комментарий от vehpbkrby

Здоровая из копии больной:

Filesystem Size Used Avail Capacity /dev/da0p2 306G 6G 276G 2% /

devfs 1.0K 1.0K 0B 100% /dev

/dev/da1p1 1,9T 32M 1.8T 0% /mnt_maildir

/dev/da2p1 1.9G 13G 1.8T 1% /mnt_backup

vehpbkrby
() автор топика
Ответ на: комментарий от vehpbkrby

а что пошло не так если попытка была неудачной? вообще больше похоже на большое число мелких файлов в одной директории и вообще при раскладе много мелких файлов нормальная скорость требует тюнига. в зависимости от ФС и ситуации с хранилищем(сколько файлов и какого объёма каждый в единицу времени пишется/читается/удаляется) глянь ручки настройки. думаю дело именно в этом.

VKraft ★★
()

fsck на разделах с UFS2 может орудовать в фоне - когда некорректно выключаются накопители. Тормоза могут быть обусловлены параллельным выполнением процедуры проверки ФС.

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Люди добрые :) спасибо всем большое за помощь! Я все таки перезагрузил машину и по косвенной причине определился вектор в который капать: При перезагрузке виртуальной больной машины происходило оооооооооочень медленная загрузка даже на самых первых этапах, даже до выбора режима загрузки (сингл и т.д). Вобщем причина кроется в самой виртуализации... Как только я тупо не перезагрузил, а выкл и вкл машину - она стала работать... Все диски были в ошибках.

Есть одно подозрение на размер одного из разделов. Виртуализация 5.5 и в ней что бы сделать диск размером больше 4 ТБ необходимо из esxicli его делать. Вобщем, грешу на свою криворукость и не коректность созданного диска. Сейчас развернул бэкап из дисков меньшего размера. Скорости идеальные. Буду посмотреть, что же будет дальше....

vehpbkrby
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.