Как включить ksm для обычных процессов?

Думаю тебе это не нужно. Через KSM мержатся страницы целиком и под эту характеристику внутри одной ВМ заходит нормально только файловый кэш - который у тебя, внезапно, работает всегда

https://www.kernel.org/doc/Documentation/vm/ksm.txt

А то что ты хочешь называлось ЕМНИП uksm, было патчем на ядро и входило в proxmox. Я пытался это юзать, огрёб уже не помню сейчас каких глюков и перестал.

Ещё сюда посмотри: https://codeberg.org/pf-kernel/uksmd

Сделай своп

Сделай своп

Бочку и тунца. Я так понял своп у него уже в zram сделан. Но к нему действительно можно backend device прикрутить, чтобы в мозгах не держать то что можно в них не держать.

У своба бэк есть, uksm явидел, но оно брошено десять лет назад как я понял. Ладно, видать пока хватит. Может позже закину все в контейнеры и попробую senpai фейсбучный посмотреть.

uksm брошено, а https://codeberg.org/pf-kernel/uksmd совсем другое, не ленись, посмотри! (сорян, оно к pf-kernel прибито и работает только с ним, отбой)

Да я про него и написал, d не дописал. Видел. В целом выходит я все видел и читал о чем ты написал :) И даже больше видать. Если другого нет, то выходит стоит забить. Но за попытку спасибо конечно.

Да я про него и написал
оно брошено десять лет назад как я понял

Нелогично, учитывая, что в uksmd последний коммит месяц назад.

к pf-kernel прибито и работает только с ним

Ну да, в readme написано «Это требует pmadv_ksm()системный вызов, доступный в pf-kernel».
Интересно, что это и как включается на других ядрах. Сам-то являюсь пользователем pf-kernel и у меня все работает, естественно. )

Выдирается реализующий системный вызов фрагмент кода из pf-kernel, делается патч, накладывается, и потом включается (запускается юзерспейсный демон), на свой страх и риск. Проделывать всё это я конечно же не буду, хотя постфактума уважаю, он крутой.

Нашел готовые патчи pmadv_ksm.
Возможно, они где-то есть и на собственном ресурсе post-factum.

Похоже pf-kernel теперь не единственное ядро с поддержкой вызова pmadv_ksm, а значит и uksmd.

Добавились linux-cachyos и linux-lqx (ссылка, строка Required by (15)).

У меня когда-то на генте uksm хорошо так сжимал потребление оперативки фаерфоксом, глюков не припомню. Но это было давно. Сейчас даже проверять не хочется, гемор.

фаерфоксом

Наверно есть ситуации, когда использование uksm наиболее эффективно, а когда как бы и не очень и надо.

Эффективно в первую очередь для пользователей firefox (строка uksmstat), 😀 именно там самые большие числа. А так же пользователей нескольких виртуалок - расход памяти как для одной. Может еще где …

Что то я в liquorix uksm не видал.

modprobe uksm modprobe: FATAL: Module uksm not found in directory /lib/modules/6.3.4-1-liquorix-amd64

Может в дебиан сборке его нет? Так бы я заюзал немедленно. Или может я просто готовить не умею?

Попробовал собрать https://codeberg.org/pf-kernel/uksmd.git Я так понял что бы UKSM дергать надо этот демон. Оно не собралось так как в Ubuntu заголовки лежат в других местах, насколько я понял. Поправил #include <linux/fcntl.h> #include <linux/pidfd.h>

Вроде эта заголовки нужны, но не уверен. Не собралось в связи с uksmd.c:81: неопределённая ссылка на «pidfd_open» Еще и варнингов накидало

[1/2] Compiling C object uksmd.p/uksmd.c.o
../uksmd.c: In function ‘ksm_ctl’:
../uksmd.c:51:18: warning: implicit declaration of function ‘open’; did you mean ‘popen’? [-Wimplicit-function-declaration]
   51 |         int fd = open(KSM_RUN, O_WRONLY);
      |                  ^~~~
      |                  popen
../uksmd.c: In function ‘ksm_advise’:
../uksmd.c:81:17: warning: implicit declaration of function ‘pidfd_open’; did you mean ‘fdopen’? [-Wimplicit-function-declaration]
   81 |         pidfd = pidfd_open(pid, 0);
      |                 ^~~~~~~~~~
      |                 fdopen

Для работы (u)ksm нужен какой-то механизм возникновения в системе ненулевых побайтово одинаковых страниц. Учитывая принципы работы fork и файловых маппингов, представить себе такое в реальных условиях без виртуализации довольно сложно.

Есть бинарник в виде пакета арча.
Можно наверно перепаковать в deb, тем более там не требуется никаких зависимостей.

О, спасибо! Попробую, там дело не хитрое системд сервис и все.

Скачал бинари с федоры и с вашей ссылки. Сделал целый chroot ему так как в убунте 22.04 libc6 меньше чем ему надо 2.36. Запустил. У меня ведро 6.3.4-1-liquorix-amd64 Получил ошибку Unable to get pmadv_ksm syscall number Вероятно в ликворе версии 6 уже нет этого, даже сам UKSMD исходный гит содержит только для 5 версии ядер исходники. Пока что не судьба.

Наверно только в AUR, linux-lqx 6.3.5.lqx1-1. Там как раз подтягиваются патчи, которые и включают pmadv_ksm.
Значит готовых бинарников ядра с поддержкой uksmd нет в других дистрах.

Соберу попозже с патчами. Как приспичит :)

Попробовал xanmod 5.х 6.х собрал linux-tkg 6.3 везде говорят эти патчи есть. Нигде не заработало. Дальше пока лень разбираться. Скорее всего придется лезть в конфиг ядра или дебажить код. Это уже долго.

везде говорят эти патчи есть

Вообще-то нет, linux-tkg. Что касается xanmod, там похоже принципиальная позиция не использовать uksm.

tkg я проглядел правда. А по ксану описание я отсюда взял https://wiki.archlinux.org/title/kernel но видать оно тухлое значит.

По xanmod есть такое linux-xanmod-tt-uksm-cjktty, но это тоже AUR. Там как раз накатывают 0002-UKSM.patch с вызовом pmadv_ksm.

Спасибо. Пока я отстал. Позже под настроение вернусь. Каждый следующий заход все приближался к ручному патчингу и вот он момент :)

Оказывается и linux-zen, наравне с linux-pf, поддерживает эту фичу из коробки, mm: add sysfs entry for pmadv_ksm syscall number.

А учитывая https://github.com/CachyOS/uksmd, то и в CachyOS тоже должно быть из коробки.

Вот спасибо, поглядим.

зен патчи есть в liquorix, но UKSM оттуда вроде как выпилили за нестабильность давно. CachyOS же это отдельный дистр вроде, так что там ядра изкоробочного для моей убунты не найти. Судьба патчить видать. Но это потом. В любом случае спасибо за помощь.

Больше это все не нужно судя по всему :)

https://lwn.net/Articles/928510/

Тоже увидел это в новости выхода нового ядра, тогда же.

Реализован вариант механизма объединения идентичных страниц памяти, работающий на уровне процессов и позволяющий значительно снизить потребление памяти за счёт дедупликации страниц с одинаковым содержимым.   
В отличие от ранее предложенного механизма KSM (Kernel Samepage Merging) в новой реализации включение поддержки дедупликации осуществляется через prctl(PR_SET_MEMORY_MERGE) для процесса целиком и наследуется для дочерних процессов, без необходимости активации для каждого диапазона памяти при помощи вызова madvise(MADV_MERGEABLE), что значительно упрощает применение. 

Даже подумал, что uksmd больше не понадобится и будет убран из списка патчей pf-kernel, как это всегда происходило, когда некий полезный функционал вдруг добавляли в ванильное ядро.
Но нет, uksmd на месте, но сильно переписан с учетом «функция auto-KSM была повторно реализована поверх API управления KSM для каждого процесса».
https://codeberg.org/pf-kernel/uksmd#principles

Когда ликворикс будет от этой версии ядра я просто демон соберу и попробую. Вероятно запашет и наступит счастье.

Оказывается и linux-zen, наравне с linux-pf, поддерживает эту фичу из коробки

Проверил в garuda-kde-lite-linux-zen-231029.iso (дефолт linux-zen) в вирте, доустановив uksmd и запустив uksmd.service - работает.

Проверка systemctl status uksmd (Status:«Profit: … MiB»), или установка пакета uksmdstats.

Арчеводам:

$ pacman -Ss linux-zen
extra/linux-zen 6.5.9.zen2-1
    The Linux ZEN kernel and modules

$ pacman -Ss uksmd
chaotic-aur/uksmd 6.5.1-1
    Userspace KSM helper daemon

или установка пакета uksmdstats

$ uksmdstats                        
======================================================
uksmd with uksmdstats support. Powered by CachyOS Team
======================================================
Full scans               811      
Interval                 20 ms    
                                  
Max page sharing ratio   256      
Pages to scan            100      
Pages over ratio         20       
Duplicated pages         491      
Use zero pages           0        
Sharing/shared ratio     16.0583  
Unshared/sharing ratio   2.13239  
                                  
Pages sharing            517.191  MiB
Pages shared             32.207   MiB
Pages unshared           1102.85  MiB
                                  
General profit           488.786  MiB