Добрый день нужен совет.
Есть приложение go - которое падает
fatal error: runtime: out of memory
Смотрю в это время top:
KiB Mem : 65401672 total, 1018996 free, 43470864 used, 20911812 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 27394280 avail Mem
Swap выключен потому что это k8s нода.
На этом сервере уже запущено 5-ть экземпляров этого приложения, запускается 6-ое.
Оно достаточно быстро начинает съедать free память, но все настолько быстро что падает за 1-2 секунды, насколько я успеваю увидеть оно съедает память из free но buff/cache не трогается.
При этом я вижу что другие приложения на ноде например
apt install atop падает с:
FATAL -> Failed to fork. 0%
Как-то можно что-то с этим сделать?
С одной стороны вроде 20GB в кеше, но с другой стороны видимо он не успевает вытеснятся.
update 1:
Ситуация еще более странная, я почистил файловый кеш во free - 18GB, перезапускаю приложение, в топе успеваю увидеть что оно съедает 700MB и падает out of memory
Соседние точно такие-же приложения (копии) висят с потреблением памяти - 5-6GB
update 2:
При этом именно на этих нодах где падает приложение есть в логах ошибка
[Sat Nov 9 10:21:24 2019] request_module: kmod_concurrent_max (0) close to 0 (max_modprobes: 50), for module net-pf-10, throttling...
Но время падения и время сообщений не совпадает, ipv6 выключен в grub