Zfs или lvm-thin. Если zfs, то установлено ли ограничение на потребление zfs оперативной памяти?

LVM-Thin

Тогда остается еще вариант проверить параметр vm.swappiness и попробовать выставить значение 10 (или 0) и посмотреть. По умолчанию 60. Больше не знаю, что может быть, но интересно:)

Попробую поиграться с параметрами. Как понял, это для физической машины с ProxMox?

Верно.

Спасибо. Так репликация прошла на 100%, но должна ли так вести себя оперативная память при pg_basebackup, забиваться и не освобождаться после? Не великий мастер администрирования СУБД, но решил, почему бы не начинать потихоньку осваивать. И если можно еще один глурый вопрос про postgres.Должна ли после перезагрузки сервера репликация продолжаться или нужно будет каждый раз запускать процесс.

Сложно сказать, что нормально, а что нет. Мало информации. Надо знать сколько ОЗУ доступно Proxmox, сколько выделено для VM c Centos. Есть ли еще виртуалки. Какие.

По поводу продолжения репликации после перезагрузки сервера ничего не скажу. Надо просто пробовать и потом делать какие-то выводы.

Выделено 30Гб памяти из 48Гб, Есть еще две виртуалки с 12Гб и 4Гб. Сервер перезагрузил. Ночью прошел pg_basebackup, сейчас снова вижу, что занято оперативки по величине получившегося бэкапа.

ProxMox забирает память (при работе с сетью)

Кстати интересный вопрос… Есть похожий случай proxmox 6.2. Под KVM выделена почти вся физическая оперативная память. Во время работы, не связанной с сетью (только короткие запросы), КSM прекрасно работает и высвобождает дублирующую память. Как только запускается процесс передачи по сети (на другую физическую машину) файла большого размера (например, созданный локально бекап) выделяется оперативная память и в последующем не высвобождается.

Есть задумка, что раз процесс работы с сетью - это виртуальное устройство, то под него выделяется память и потом это устройство не уничтожается по причине возможного его использования в дальнейшем.

Есть варианты на куда смотреть?

1. Centos - это точно VM, а не контейнер?

2. Сетевой адаптер у VM выбран Virtio? (Рекомендуется использовать именно Virtio)

3. Proxmox’у точно хватает оставшейся ОЗУ?

1. zfs или lvm-thin?
2. сетевой адаптер virtio?

1. lvm-thin
2. virtio

Если точнее: machine q35 Контроллер SCSI VirtIO SCSI Single сеть virtio; bridge=vmbr0; firewal=1 ver. virtio-win-0.1.185

Сравнил со своей конфигурацией. У меня по умолчанию контроллер оставлен Virtio SCSI (без Single). Большие файлы по сети гонял, но проблем с ОЗУ не замечал. Напишите какой объем файлов вызывает проблему. Попробую у себя. И еще бы скрины ДО и ПОСЛЕ, где видно, что происходит с памятью.

https://disk.yandex.ru/i/OP0uOGduD0RdIg https://disk.yandex.ru/i/ERiXtCL2Hd_Q7A

Пояснения: Если никаких дисковых операций не производится, хотя производится бекап силами MSSQL в виртуалке, автоматическое удаление старых архивов, обычная работы MSSQL, то память варьируется от 100Гб до 130Гб (возрастает до 130 при подсчете статистики и бекапировании и потом возвращается на 100 Гб). Однако если производится копирование по сети либо с винта на винт (в виртуалку подаются как отдельные физические), то порог занятости памяти возрастает, KSM немного уменьшает её, но все равно в первоначальное состояние не возвращается и дальше начинает варьироваться от нового состояния, пока не достигнет предела памяти.

П.С. Файлы в пределах от 30-40 Гб…

Обратил внимание на [balloon = 0] в свойствах memory. По идее это принудительное отключение. Эта штука должна отвечать за автоматическое распределение свободной памяти между хостом и виртуалками. То есть за ее высвобождение также.

Не могу нагуглить сейчас, но когда-то наткнулся на статью, где не рекомендовалось использовать эту технологию на vm c windows. И я целенаправлено не использовал это.

Чтобы balloon работал, с диска virio должен быть установлен драйвер. После установки в винде появляется соответствующая служба. Она должна быть запущена. Тогда если установить галку Ballooning Device и указать диапазон выделяемой памяти, то это все должно заработать.

Но так как я не пользуюсь этим, то я просто не устанавливаю драйвера balloon и служба у меня не создается. Все работает хорошо.

Проверьте у себя это. Установлены ли драйвера и служба balloon. Работает ли она. Попробуйте сравнить результаты когда служба запущена/остановлена/не существует.

Ballon в 0 постевлен был, т.к. в противном случае неадекватно память в виртуалке отображалась и выделялась.

«Чтобы balloon работал с диска virio должен быть установлен драйвер. После установки в винде появляется соответствующая служба. Она должна быть запущена. Тогда если установить галку Ballooning Device и указать диапазон выделяемой памяти, то это все должно заработать.»

Ок, спасибо, посмотрим в эту сторону.

Возможно, служба осталась и она работает, а balloon у сетевухи отключили.

ProxMox забирает память (при работе с сетью)

Проблема решена и не связана с proxmox.

При копировании файла по сети и не только (любое копирование с диска на диск или в другую папку) на госте kvm windows растет память из категории standby. Данный рост не отображается через Task manager, однако прекрасно виден через стандартный инструмент windows Resource manager.

После очистки памяти Standby через дополнительные инструменты, например, через RAMMap из инструментария sysinternals Руссиновича, KSM proxmox в дальнейшем прекрасно отрабатывает и дедублицирует освободившую память.

Кому интересно - растет память standby из категории mapped file.

Всем спасибо.

Balloning only for RAM

https://pve.proxmox.com/wiki/Dynamic_Memory_Management#Ballooning

«Полеты на воздушном шаре» Расширение памяти (только KVM) позволяет гостю динамически изменять использование памяти, удаляя неиспользуемую память во время выполнения. Это уменьшает влияние, которое ваш гость может оказать на использование памяти вашим хостом, возвращая хосту неиспользуемую память.

Хост Proxmox VE может ссужать увеличенную память занятой виртуальной машине. Виртуальная машина решает, какие процессы или страницы кэша нужно выгрузить, чтобы освободить память для балуна. Виртуальная машина (Windows или Linux) лучше всех знает, от каких областей памяти она может отказаться, не влияя на производительность виртуальной машины."

https://translate.google.com/translate?sl=en&tl=ru&u=https://pve.proxmox.com/wiki/Dynamic_Memory_Management%23Ballooning