Proxmox съедает оперативную память

Вывод команды free -h в студию, иначе это гадание на кофейной гуще. И скорее всего это память в буфере.

дисковые кэши /thread

https://www.linuxatemyram.com/

А что за рейд, да еще из двух дисков?

mdadm проксмокс не любит, zfs?

потребление оперативной памяти

mdadm проксмокс не любит

А почему?

    tot   used   free  shared  buff/cache   available

Mem: 62Gi 59Gi 2.3Gi 439Mi 634Mi 2.1Gi

Swap: 0B 0B 0B

zpool status pool: rpool state: ONLINE scan: scrub repaired 0B in 0 days 02:13:24 with 0 errors on Sun Oct 9 02:37:25 2022 config:

    NAME                                        STATE     READ WRITE CKSUM
    rpool                                       ONLINE       0     0     0
      mirror-0                                  ONLINE       0     0     0
        ata-ST4000NM002A-2HZ101_WJG2DYSP-part3  ONLINE       0     0     0
        ata-ST4000NM002A-2HZ101_WJG2E07T-part3  ONLINE       0     0     0

errors: No known data errors

Установил Proxmox Virtual Environment 6.3-2

Зачем, если даже 6.4 уже несколько месяцев как EOL?

Что за виртуальные машины? Сколько выделил им памяти? Какой софт на них?

Proxmox был установлен еще год назад. Выделено - занято ОЗУ

1. Сервер бекапа на убунту - 6 гб - 4,5 gb
2. сервисы, RABBIT MQ на ubuntu server - 10 gb - 9,13 gb
3. Сервер kms - 2 gb - 590 mb
4. Сервер бд - 8 gb - 7.43 gb
5. Сервер RABBIT MQ -4 gb - 2.45 gb

Таким образом потребление проксмоксом сильно выше чем все виртуалки? htop запускал, что там?

Я тоже задавался этим вопросом и даже протестировал такую установку.

И в целом согласен с ними. mdadm недостаточно производителен и в итоге виртуалки часто впадают в задумчивость. Смотришь, сервер не нагружен, процессор, память свободны, а io внезапно забит.
Этого не наблюдается на адаптеках и других аппаратных раидах.

Ну и что тут удивительного? zfs всегда и везде соседствует с не хватает памяти.

Там вроде ключиком ограничивают то, что он съедает.

И в целом согласен с ними. mdadm недостаточно производителен и в итоге виртуалки часто впадают в задумчивость.

Тогда это должна быть общая беда kvm или proxmox добавил что-то своё к нему?

216 root 25 5 0 0 0 S 35.5 0.0 22255:04 ksmd
3281 root 20 0 10.5g 9.8g 5188 S 12.6 15.6 9944:35 kvm
6481 root 20 0 4819948 3.0g 4744 S 8.0 4.8 6315:30 kvm
2937 root 20 0 301484 84608 6780 S 1.0 0.1 138:17.16 pve-firewall
7465 root 20 0 7355488 6.2g 5736 S 1.0 9.8 753:16.81 kvm
6024 root 20 0 9026212 7.9g 4388 S 0.7 12.5 1438:59 kvm
747 root 1 -19 0 0 0 S 0.3 0.0 23:10.55 z_wr_iss
748 root 1 -19 0 0 0 S 0.3 0.0 23:12.49 z_wr_iss
750 root 1 -19 0 0 0 S 0.3 0.0 23:11.15 z_wr_iss
760 root 1 -19 0 0 0 S 0.3 0.0 23:11.34 z_wr_iss
767 root 1 -19 0 0 0 S 0.3 0.0 23:10.07 z_wr_iss
768 root 1 -19 0 0 0 S 0.3 0.0 23:11.45 z_wr_iss
769 root 1 -19 0 0 0 S 0.3 0.0 23:11.16 z_wr_iss
772 root 0 -20 0 0 0 S 0.3 0.0 42:14.75 z_wr_int

Ну эта проблема еще шире, чем kvm. Под vmware esxi тоже самое присходит, если использовать медленное хранилище.

Проксмокс за счет централизованного веб-интерфейса позволяет легко оперировать десятками виртуалок на хосте, так что если на сервере многие десятки ядер, многие сотни гигабайт ОЗУ и террабайты хранилища, дисковая подсистема должна быть и быстрой и нагружаемой, иначе в нее все и упрется. Поэтому проксмокс не порождает проблему, а просто подсвечивает ее.

Если используется zfs, то по-умолчанию 50% памяти под его кеши сжирается.

Посмотри cat /proc/spl/kstat/zfs/arcstats

Вообще proxmox с zfs на небольших количествах оперативной памяти себя не очень, я когда-то поигрался и вернулся на аппаратный рейд

mdadm конечно, проксмокс не любит, но hetzner продаёт такие сетапы пачками - жить можно

Тогда вопрос, mdadm+lvm и не использовать zfs, если нет аппаратного рейда?

Да, LVM или LVM-thin, в зависимости от ситуации. Если совсем всё плохо, то можно и просто виртуалки в файлах держать