LINUX.ORG.RU
решено ФорумAdmin

Кто сожрал память?

 


0

2

На хосте 64 ГБ.

free -m

# free -m
              total        used        free      shared  buff/cache   available
Mem:          64103       53953        2898           3        7251        9487
Swap:           975          76         899

# smem -mkt | tail -20
/usr/lib/locale/locale-archive              14    38.0K   534.0K 
/usr/sbin/sshd                               3   217.0K   651.0K 
/bin/zsh5                                    1   668.0K   668.0K 
/usr/lib/x86_64-linux-gnu/libglib-2.0.so     4   189.0K   756.0K 
/lib/systemd/systemd-networkd                1   796.0K   796.0K 
/usr/lib/x86_64-linux-gnu/libgio-2.0.so.     3   288.0K   866.0K 
[stack]                                     36    30.0K     1.1M 
/bin/bash                                    4   294.0K     1.2M 
/lib/systemd/systemd                         3   405.0K     1.2M 
/usr/bin/python3.6                           1     1.3M     1.3M 
/lib/x86_64-linux-gnu/libm-2.27.so          14   119.0K     1.6M 
/lib/systemd/libsystemd-shared-237.so        8   221.0K     1.7M 
/usr/lib/x86_64-linux-gnu/libcrypto.so.1     3   617.0K     1.8M 
/usr/bin/python2.7                           1     2.1M     2.1M 
/lib/x86_64-linux-gnu/libc-2.27.so          36    72.0K     2.6M 
/var/log/journal/1eedc77d25e740febd7d970     1     9.4M     9.4M 
<anonymous>                                 36   297.0K    10.5M 
[heap]                                      36   588.0K    20.7M 
-----------------------------------------------------------------
150                                       1028    23.6M    71.9M
# top -o %MEM

top - 21:56:10 up 160 days,  7:44,  3 users,  load average: 0.00, 0.02, 9.87
Tasks: 631 total,   1 running, 320 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 65641888 total,  2969808 free, 55245976 used,  7426104 buff/cache
KiB Swap:   999420 total,   921468 free,    77952 used.  9716952 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                                                                                  
50262 root      19  -1  135652  15968  15368 S   0.0  0.0   0:00.03 systemd-journal                                                                                                                                                                          
60293 root       0 -20   19752   7304   4320 S   0.0  0.0   0:00.42 atop                                                                                                                                                                                     
 9044 root      20   0  107984   7216   6208 S   0.0  0.0   0:00.02 sshd                                                                                                                                                                                     
    1 root      20   0   78460   7108   4744 S   0.0  0.0 483:36.65 systemd                                                                                                                                                                                  
 1572 root      20   0  171996   6736   3900 S   0.0  0.0 157:34.26 networkd-dispat                                                                                                                                                                          
11575 hyl       20   0   45044   5528   3876 S   0.0  0.0   0:00.18 zsh                                                                                                                                                                                      
12393 root      20   0   22832   5336   3572 S   0.0  0.0   0:23.60 bash                                                                                                                                                                                     
 1821 root      10 -10   25880   5264   4036 S   0.0  0.0   0:00.00 iscsid                                                                                                                                                                                   
50122 root      20   0   22704   5092   3436 S   0.0  0.0   0:00.03 bash                                                                                                                                                                                     
50132 root      20   0   22704   5084   3424 S   0.0  0.0   0:00.15 bash                                                                                                                                                                                     
 1520 root      20   0  287524   4972   4388 S   0.0  0.0  15:06.03 accounts-daemon                                                                                                                                                                          
50188 root      20   0   22704   4944   3316 S   0.0  0.0   0:00.03 bash                                                                                                                                                                                     
12043 hyl       20   0   77440   4876   3608 S   0.0  0.0  66:24.17 systemd                                                                                                                                                                                  
50402 root      20   0   44724   4728   3432 R   1.0  0.0   0:00.27 top                                                                                                                                                                                      
12391 root      20   0   63516   4256   3748 S   0.0  0.0   0:00.00 sudo                                                                                                                                                                                     
50121 root      20   0   32776   4208   2500 S   0.0  0.0   0:00.61 screen                                                                                                                                                                                   
 1680 root      20   0  288892   4036   3672 S   0.0  0.0   0:00.10 polkitd                                                                                                                                                                                  
 1510 syslog    20   0  263036   3816   2320 S   0.0  0.0  46:03.77 rsyslogd                                                                                                                                                                                 
 1476 root      20   0   70904   3812   3276 S   0.0  0.0  37:18.55 systemd-logind                                                                                                                                                                           
 1094 root      20   0   47272   3764   2924 S   0.0  0.0 730:37.69 systemd-udevd                                                                                                                                                                            
 1344 systemd+  20   0  145964   3588   2944 S   0.0  0.0 132:58.92 systemd-network                                                                                                                                                                          
11518 hyl       20   0  107984   3384   2376 S   0.0  0.0   0:00.86 sshd                                                                                                                                                                                     
 1424 systemd+  20   0   70860   3368   3128 S   0.0  0.0 362:05.19 systemd-resolve                                                                                                                                                                          
 1490 message+  20   0   50176   3296   2812 S   0.0  0.0 112:44.69 dbus-daemon                                                                                                                                                                              
 1422 systemd+  20   0  141912   3140   2920 S   0.0  0.0  19:19.70 systemd-timesyn                                                                                                                                                                          
50120 root      20   0   31428   2996   2732 S   0.0  0.0   0:00.00 screen                                                                                                                                                                                   
 1817 root      20   0   72296   2860   2796 S   0.0  0.0   0:00.02 sshd                                                                                                                                                                                     
 1552 root      20   0   31320   2592   2304 S   0.0  0.0   9:31.88 cron                                                                                                                                                                                     
 1483 root      20   0  110736   2364   1988 S   0.0  0.0 607:01.31 irqbalance                                                                                                                                                                               
 1469 daemon    20   0   28332   1956   1828 S   0.0  0.0   0:00.14 atd                                                                                                                                                                                      
 1819 root      20   0   25376   1800   1624 S   0.0  0.0   4:40.07 iscsid                                                                                                                                                                                   
 1976 root      20   0   16180   1540   1408 S   0.0  0.0   0:00.05 agetty                                                                                                                                                                                   
 1529 root      20   0  456952   1472   1356 S   0.0  0.0   1:08.84 lxcfs                                                                                                                                                                                    
 1082 root      20   0  105904   1016    904 S   0.0  0.0   0:00.00 lvmetad                 

В упор не вижу, кто сожрал. Вроде буферы и кеш небольшие. Можете помочь, кто съел память?

★★

Последнее исправление: zendrz (всего исправлений: 1)
Ответ на: комментарий от Deleted
# top -o RES

top - 22:21:45 up 160 days,  8:09,  3 users,  load average: 0.00, 0.00, 1.85
Tasks: 630 total,   1 running, 320 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 65641888 total,  2971360 free, 55244216 used,  7426312 buff/cache
KiB Swap:   999420 total,   921468 free,    77952 used.  9718708 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                                                                                                                  
50262 root      19  -1  135652  16616  16012 S   0.0  0.0   0:00.04 systemd-journal                                                                                                                                                                          
60293 root       0 -20   19752   7304   4320 S   0.0  0.0   0:00.52 atop                                                                                                                                                                                     
 9044 root      20   0  107984   7216   6208 S   0.0  0.0   0:00.02 sshd                                                                                                                                                                                     
    1 root      20   0   78460   7108   4744 S   0.0  0.0 483:36.66 systemd                                                                                                                                                                                  
 1572 root      20   0  171996   6736   3900 S   0.0  0.0 157:34.26 networkd-dispat                                                                                                                                                                          
11575 hyl       20   0   45044   5528   3876 S   0.0  0.0   0:00.18 zsh                                                                                                                                                                                      
12393 root      20   0   22832   5336   3572 S   0.0  0.0   0:23.60 bash                                                                                                                                                                                     
 1821 root      10 -10   25880   5264   4036 S   0.0  0.0   0:00.00 iscsid                                                                                                                                                                                   
50122 root      20   0   22704   5092   3436 S   0.0  0.0   0:00.03 bash                                                                                                                                                                                     
50132 root      20   0   22704   5084   3424 S   0.0  0.0   0:00.16 bash                                                                                                                                                                                     
 1520 root      20   0  287524   4972   4388 S   0.0  0.0  15:06.04 accounts-daemon                                                                                                                                                                          
50188 root      20   0   22704   4944   3316 S   0.0  0.0   0:00.03 bash                                                                                                                                                                                     
12043 hyl       20   0   77440   4876   3608 S   0.0  0.0  66:24.17 systemd                                                                                                                                                                                  
50419 root      20   0   44724   4556   3264 R   1.0  0.0   0:00.12 top                                                                                                                                                                                      
12391 root      20   0   63516   4256   3748 S   0.0  0.0   0:00.00 sudo                                                                                                                                                                                     
50121 root      20   0   32776   4208   2500 S   0.0  0.0   0:00.62 screen                                                                                                                                                                                   
 1680 root      20   0  288892   4036   3672 S   0.0  0.0   0:00.10 polkitd                                                                                                                                                                                  
 1510 syslog    20   0  263036   3816   2320 S   0.0  0.0  46:03.77 rsyslogd                                                                                                                                                                                 
 1476 root      20   0   70904   3812   3276 S   0.0  0.0  37:18.55 systemd-logind                                                                                                                                                                           
 1094 root      20   0   47272   3764   2924 S   0.0  0.0 730:37.69 systemd-udevd                                                                                                                                                                            
 1344 systemd+  20   0  145964   3588   2944 S   0.0  0.0 132:58.93 systemd-network                                                                                                                                                                          
11518 hyl       20   0  107984   3384   2376 S   0.3  0.0   0:00.88 sshd                                                                                                                                                                                     
 1424 systemd+  20   0   70860   3368   3128 S   0.0  0.0 362:05.20 systemd-resolve                                                                                                                                                                          
 1490 message+  20   0   50176   3296   2812 S   0.0  0.0 112:44.69 dbus-daemon                                                                                                                                                                              
 1422 systemd+  20   0  141912   3140   2920 S   0.0  0.0  19:19.70 systemd-timesyn                                                                                                                                                                          
50120 root      20   0   31428   2996   2732 S   0.0  0.0   0:00.00 screen                                                                                                                                                                                   
 1817 root      20   0   72296   2860   2796 S   0.0  0.0   0:00.02 sshd         
zendrz ★★
() автор топика
Ответ на: комментарий от Deleted
# bash ./memtop -n 10
==============================================================================================================================================================================================================================================================
Memory      PID     User       Command
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
72.97  MB   1344    systemd+   /lib/systemd/systemd-networkd 
50.47  MB   1529    root       /usr/bin/lxcfs /var/lib/lxcfs/ 
25.22  MB   1680    root       /usr/lib/policykit-1/polkitd --no-debug 
25.18  MB   1520    root       /usr/lib/accountsservice/accounts-daemon 
18.71  MB   1510    syslog     /usr/sbin/rsyslogd -n 
17.69  MB   1572    root       /usr/bin/python3 /usr/bin/networkd-dispatcher --run-startup-triggers 
16.52  MB   1082    root       /sbin/lvmetad -f 
16.46  MB   50444   root       sort -rn 
8.87   MB   1483    root       /usr/sbin/irqbalance --foreground 
8.69   MB   1422    systemd+   /lib/systemd/systemd-timesyncd 
==============================================================================================================================================================================================================================================================

все это видно было и до этого, к сожалению

zendrz ★★
() автор топика
Ответ на: комментарий от xDShot

и что, есть противоречие с этой известной статьей? Только информации всёравно нет, кто сожрал

zendrz ★★
() автор топика
Ответ на: комментарий от anonymous
# smem -w -t -R 64GB -k
Area                           Used      Cache   Noncache 
firmware/hardware              1.4G          0       1.4G 
kernel image                      0          0          0 
kernel dynamic memory         59.7G       7.0G      52.7G 
userspace memory              71.1M      36.0M      35.1M 
free memory                    2.8G       2.8G          0 
----------------------------------------------------------
                              64.0G       9.9G      54.1G 

Вот, уже интересней. Ядро сожрало 50ГБ

zendrz ★★
() автор топика
Ответ на: комментарий от xDShot

Тут буфером то занято всего ничего.

Deleted
()
Ответ на: комментарий от Deleted

было много, я всё завершил. потом прибил сам процесс докера. память не освободилась, написал сюда :)

zendrz ★★
() автор топика
Ответ на: комментарий от Deleted
# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=32790936k,nr_inodes=8197734,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=6564192k,mode=755)
/dev/mapper/vg-root on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/unified type cgroup2 (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=45,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=58384)
configfs on /sys/kernel/config type configfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
lxcfs on /var/lib/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
tmpfs on /run/user/1001 type tmpfs (rw,nosuid,nodev,relatime,size=6564188k,mode=700,uid=1001,gid=1001)
zendrz ★★
() автор топика

cat /proc/slabinfo показывает, что там radix_tree_node, kmalloc-*, kmem_cache_node, kmem_cache в 10 или 100 раз больше, чем на соседнем похожем работающем хосте. Не знаю, наверно не буду копать и ребутнусь

zendrz ★★
() автор топика
Ответ на: комментарий от spijet

если и так, то этого не видно на mount/df

# df -hT
Filesystem                Type      Size  Used Avail Use% Mounted on
udev                      devtmpfs   32G     0   32G   0% /dev
tmpfs                     tmpfs     6.3G  5.1M  6.3G   1% /run
/dev/mapper/vg-root ext4      732G  304G  392G  44% /
tmpfs                     tmpfs      32G     0   32G   0% /dev/shm
tmpfs                     tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs                     tmpfs      32G     0   32G   0% /sys/fs/cgroup
tmpfs                     tmpfs     6.3G     0  6.3G   0% /run/user/1001
zendrz ★★
() автор топика

/proc/meminfo

Slab:           17856084 kB
SUnreclaim:     16199552 kB

вот это распухло, вместе больше 30ГБ. Ядро протекло. Лан, хрен с ним.

zendrz ★★
() автор топика

Попробуйте ещё slabtop посмотреть напоследок

anonymous
()

Алкоголь и стресс

anonymous
()

Кто сожрал память?

https://github.com/hakavlad/nohang#oom-sort

https://github.com/hakavlad/nohang/blob/master/tools/oom-sort

$ oom-sort
oom_score oom_score_adj  UID   PID Name            VmRSS   VmSwap   cmdline
--------- ------------- ---- ----- --------------- ------- -------- -------
       23             0    0   964 Xorg               58 M     22 M /usr/libexec/Xorg -background none :0 vt01 -nolisten tcp -novtswitch -auth /var/run/lxdm/lxdm-:0.auth
       13             0 1000  1365 pcmanfm            38 M     10 M pcmanfm --desktop --profile LXDE
       10             0 1000  1408 dnfdragora-upda     9 M     27 M /usr/bin/python3 /bin/dnfdragora-updater
        5             0    0   822 firewalld           0 M     19 M /usr/bin/python3 /usr/sbin/firewalld --nofork --nopid
        5             0 1000  1364 lxpanel            18 M      2 M lxpanel --profile LXDE
        5             0 1000  1685 nm-applet           6 M     12 M nm-applet
        5             0 1000  1862 lxterminal         16 M      2 M lxterminal

sort by VmRSS:

$ oom-sort -s VmRSS

anonymous
()
Ответ на: комментарий от anonymous

к сожалению, уже не проверить, ребутнул вчера. Спасибо за ссылку на тулзу.

Там явно не пользовательское приложение виновато. Ядро забилось само. Кто сожрал память? (комментарий) Видимо, лики ресурсов при работе с контейнерами: там полгода крутилось бешенное CI в докерах. Обновлюсь, подожду еще полгода, может уже пофикшено :)

zendrz ★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.