LINUX.ORG.RU
Форум — Development  

OOM panic No killable process


0

0

есть линуксовая машина, Генту, какое-то ядро из последних. Несколько раз повторялось -- во время тестирования забивался своп полностью апачами. И ядро валилось в панику: Out of memory and no killable processes. Непонятно почему ядро не может убить эти апачи? Судя по топу они находились в состоянии S

★★★★★
← mysql5: хранимые процедуры
Сущевствует ли аналог Builder в Linux? →
Ответ на: комментарий от birdie

В двух словах, либо у вас ядро не может найти подходящее приложения для убийства, либо у вас, например, память забита tmpfs или ещё какой бедой.

birdie ★★★★★
()
Ответ на: комментарий от birdie

это понятно.

tmpfs нет

В том-то и дело -- я не понимаю почему ядро не может найти приложение для убийства. Есть куча апачей, которые и жрут память. Почему ядро не смогло их убить -- это для меня загадка. Может это известный баг в 2.6.20?

dilmah ★★★★★
() автор топика
Ответ на: комментарий от birdie

про то что tmpfs это может вызвать -- не подумал об этом. Но все равно tmpfs отключен, и даже если бы он был включен -- он обычно ограничен половиной памяти.

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah

apache 1) root'овое приложение (отец, по крайней мере) 2) может у вас Apache hardware IO ports использует? ;-)

В общем, не знаю чем помочь - странная ситуация.

Кстати, apache = отец + куча детей - может ядро просто не знает, кого выбрать? Они все мало жрут, а в сумме - вся память.

Короче, ulimit OR limits.conf

birdie ★★★★★
()
Ответ на: комментарий от birdie

> Кстати, вам в Admin или General.

quite the opposite, выражаясь твоим языком.

Из темы видно, что линукс не справляется с задачами, с которыми должен справляться => следовательно, он недоразвитый, явная связь с темой Development.

dilmah ★★★★★
() автор топика
Ответ на: комментарий от tailgunner

попробую.

Но я не понимаю почему это должно влиять на способность ядра убить процессы.

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah

На способность убивать это не повлияет. Зато паники не будет, сможешь работать нормально.

Если интересно именно с OOM killer разобраться - пости вывод dmesg

tailgunner ★★★★★
()
Ответ на: комментарий от tailgunner 

> пости вывод dmesg

Вот последнее что есть в логах, после этого идет загрузка после ресета:

oom-killer: gfp_mask=0x201d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff80183ec7>{dput+35}
<ffffffff8017d975>{__link_path_walk+3222} <ffffffff80187b93>{mntput_no_expire+25}
<ffffffff8015119d>{filemap_nopage+323} <ffffffff8015b304>{__handle_mm_fault+878}
<ffffffff8027f317>{_atomic_dec_and_lock+51} <ffffffff80119f32>{do_page_fault+960}
<ffffffff80177b62>{sys_newstat+40} <ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:119
cpu 0 cold: high 62, batch 15 used:55
cpu 1 hot: high 186, batch 31 used:48
cpu 1 cold: high 62, batch 15 used:54
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       13728kB (0kB HighMem)
Active:242929 inactive:232590 dirty:0 writeback:0 unstable:0 free:3432 slab:14987 mapped:474825 pagetables:8561
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1528kB inactive:1232kB present:11364kB pages_scanned:3662 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:5688kB min:5712kB low:7140kB high:8568kB active:970188kB inactive:929128kB present:2052008kB pages_scanned:2491531 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 4*4kB 3*8kB 4*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 0*4kB 61*8kB 5*16kB 4*32kB 0*64kB 1*128kB 1*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 5688kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1463099, delete 1463088, find 425381/518090, race 1+35
Free swap  = 0kB
Total swap = 2096472kB
Free swap:            0kB
524208 pages of RAM
9194 reserved pages
101533 pages shared
11 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 5616305 and children.
Out of memory: Killed process 7394 (apache2).
oom-killer: gfp_mask=0x201d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff80183ec7>{dput+35}
<ffffffff8017d975>{__link_path_walk+3222} <ffffffff80187b93>{mntput_no_expire+25}
<ffffffff8015119d>{filemap_nopage+323} <ffffffff8015b304>{__handle_mm_fault+878}
<ffffffff80119f32>{do_page_fault+960} <ffffffff80177b62>{sys_newstat+40}
<ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:119
cpu 0 cold: high 62, batch 15 used:55
cpu 1 hot: high 186, batch 31 used:98
cpu 1 cold: high 62, batch 15 used:54
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       13728kB (0kB HighMem)
Active:242871 inactive:232616 dirty:0 writeback:54 unstable:0 free:3432 slab:14987 mapped:474770 pagetables:8520
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1528kB inactive:1232kB present:11364kB pages_scanned:3662 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:5688kB min:5712kB low:7140kB high:8568kB active:969956kB inactive:929232kB present:2052008kB pages_scanned:2498358 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 4*4kB 3*8kB 4*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 0*4kB 61*8kB 5*16kB 4*32kB 0*64kB 1*128kB 1*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 5688kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1463168, delete 1463092, find 425381/518090, race 1+35
Free swap  = 4908kB
Total swap = 2096472kB
Free swap:         4904kB
oom-killer: gfp_mask=0x201d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff801505e7>{__generic_file_aio_write_nolock+739}
<ffffffff8015119d>{filemap_nopage+323} <ffffffff8015b304>{__handle_mm_fault+878}
<ffffffff80119f32>{do_page_fault+960} <ffffffff8018045f>{poll_freewait+64}
<ffffffff8018077c>{do_sys_poll+785} <ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:119
cpu 0 cold: high 62, batch 15 used:55
cpu 1 hot: high 186, batch 31 used:98
cpu 1 cold: high 62, batch 15 used:58
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       13728kB (0kB HighMem)
Active:242843 inactive:232672 dirty:0 writeback:86 unstable:0 free:3432 slab:14987 mapped:474733 pagetables:8520
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1528kB inactive:1232kB present:11364kB pages_scanned:3662 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:5688kB min:5712kB low:7140kB high:8568kB active:969844kB inactive:929456kB present:2052008kB pages_scanned:2498420 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 4*4kB 3*8kB 4*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 0*4kB 61*8kB 5*16kB 4*32kB 0*64kB 1*128kB 1*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 5688kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1463191, delete 1463092, find 425381/518090, race 1+35
Free swap  = 4816kB
Total swap = 2096472kB
Free swap:         4816kB
524208 pages of RAM
524208 pages of RAM
9194 reserved pages
101241 pages shared
99 pages swap cached
9194 reserved pages
101241 pages shared
99 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 5616104 and children.
Out of memory: Killed process 7418 (apache2).
oom-killer: gfp_mask=0x201d2, order=0

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah 

продолжение:

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff8014ed52>{sync_page+0}
<ffffffff803998d9>{io_schedule+50} <ffffffff8039a096>{__wait_on_bit_lock+91}
<ffffffff8014ed4c>{__lock_page+94} <ffffffff8015119d>{filemap_nopage+323}
<ffffffff8015b304>{__handle_mm_fault+878} <ffffffff8013f20a>{ktime_get_ts+26}
<ffffffff80119f32>{do_page_fault+960} <ffffffff8013efb1>{hrtimer_try_to_cancel+75}
<ffffffff8012e496>{do_setitimer+147} <ffffffff8010a696>{sys_rt_sigreturn+545}
<ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:26
cpu 0 cold: high 62, batch 15 used:2
cpu 1 hot: high 186, batch 31 used:34
cpu 1 cold: high 62, batch 15 used:29
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       14704kB (0kB HighMem)
Active:245310 inactive:228488 dirty:0 writeback:0 unstable:0 free:3676 slab:14596 mapped:472970 pagetables:9868
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1612kB inactive:1240kB present:11364kB pages_scanned:3066 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:6664kB min:5712kB low:7140kB high:8568kB active:979628kB inactive:912712kB present:2052008kB pages_scanned:1984771 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 0*4kB 3*8kB 5*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 282*4kB 56*8kB 16*16kB 1*32kB 1*64kB 1*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 6664kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1507858, delete 1507852, find 446453/543914, race 1+98
Free swap  = 0kB
Total swap = 2096472kB
Free swap:            0kB
524208 pages of RAM
9194 reserved pages
93691 pages shared
6 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 6222780 and children.
Out of memory: Killed process 7424 (apache2).
oom-killer: gfp_mask=0x201d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff80109178>{__switch_to+345}
<ffffffff8014ed4c>{__lock_page+94} <ffffffff8015119d>{filemap_nopage+323}
<ffffffff8015b304>{__handle_mm_fault+878} <ffffffff8039adb5>{__down_read+130}
<ffffffff80119f32>{do_page_fault+960} <ffffffff803995f8>{thread_return+0}
<ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:24
cpu 0 cold: high 62, batch 15 used:10
cpu 1 hot: high 186, batch 31 used:10
cpu 1 cold: high 62, batch 15 used:29
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       14096kB (0kB HighMem)
Active:247054 inactive:226979 dirty:0 writeback:0 unstable:0 free:3524 slab:14596 mapped:472975 pagetables:9868
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1612kB inactive:1240kB present:11364kB pages_scanned:3066 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:6056kB min:5712kB low:7140kB high:8568kB active:986604kB inactive:906676kB present:2052008kB pages_scanned:2009366 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 0*4kB 3*8kB 5*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 130*4kB 56*8kB 16*16kB 1*32kB 1*64kB 1*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 6056kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1507946, delete 1507852, find 446489/543961, race 1+98
Free swap  = 0kB
Total swap = 2096472kB
Free swap:            0kB
524208 pages of RAM
9194 reserved pages
93634 pages shared
94 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 6222780 and children.
Out of memory: Killed process 7424 (apache2).
oom-killer: gfp_mask=0x201d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff8014ed52>{sync_page+0}
<ffffffff803998d9>{io_schedule+50} <ffffffff8039a096>{__wait_on_bit_lock+91}
<ffffffff8014ed4c>{__lock_page+94} <ffffffff8015119d>{filemap_nopage+323}
<ffffffff8015b304>{__handle_mm_fault+878} <ffffffff8039adb5>{__down_read+130}
<ffffffff80119f32>{do_page_fault+960} <ffffffff8014ed52>{sync_page+0}
<ffffffff803995f8>{thread_return+0} <ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:24
cpu 0 cold: high 62, batch 15 used:10
cpu 1 hot: high 186, batch 31 used:10
cpu 1 cold: high 62, batch 15 used:29
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       14096kB (0kB HighMem)
Active:247055 inactive:227010 dirty:0 writeback:0 unstable:0 free:3524 slab:14596 mapped:472975 pagetables:9868
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1612kB inactive:1240kB present:11364kB pages_scanned:3066 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:6056kB min:5712kB low:7140kB high:8568kB active:986608kB inactive:906800kB present:2052008kB pages_scanned:2015207 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 0*4kB 3*8kB 5*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 130*4kB 56*8kB 16*16kB 1*32kB 1*64kB 1*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 6056kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1507946, delete 1507852, find 446489/543961, race 1+98
Free swap  = 0kB
Total swap = 2096472kB
Free swap:            0kB
524208 pages of RAM
9194 reserved pages
93617 pages shared
94 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 6222780 and children.
Out of memory: Killed process 7424 (apache2).
oom-killer: gfp_mask=0x201d2, order=0

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah 

концовка:

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff8014ed52>{sync_page+0}
<ffffffff803998d9>{io_schedule+50} <ffffffff8039a096>{__wait_on_bit_lock+91}
<ffffffff8014ed4c>{__lock_page+94} <ffffffff8015119d>{filemap_nopage+323}
<ffffffff8015b304>{__handle_mm_fault+878} <ffffffff80119f32>{do_page_fault+960}
<ffffffff803995f8>{thread_return+0} <ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:24
cpu 0 cold: high 62, batch 15 used:10
cpu 1 hot: high 186, batch 31 used:10
cpu 1 cold: high 62, batch 15 used:29
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       14096kB (0kB HighMem)
Active:247055 inactive:227010 dirty:0 writeback:0 unstable:0 free:3524 slab:14596 mapped:472975 pagetables:9868
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1612kB inactive:1240kB present:11364kB pages_scanned:3066 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:6056kB min:5712kB low:7140kB high:8568kB active:986608kB inactive:906800kB present:2052008kB pages_scanned:2021147 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 0*4kB 3*8kB 5*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 130*4kB 56*8kB 16*16kB 1*32kB 1*64kB 1*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 6056kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1507946, delete 1507852, find 446489/543961, race 1+98
Free swap  = 0kB
Total swap = 2096472kB
Free swap:            0kB
524208 pages of RAM
9194 reserved pages
93620 pages shared
94 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 6222780 and children.
Out of memory: Killed process 7424 (apache2).
oom-killer: gfp_mask=0x201d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80154e39>{__do_page_cache_readahead+163} <ffffffff8039ad45>{__down_read+18}
<ffffffff8014ed52>{sync_page+0} <ffffffff803998d9>{io_schedule+50}
<ffffffff8015119d>{filemap_nopage+323} <ffffffff8015b304>{__handle_mm_fault+878}
<ffffffff8039adb5>{__down_read+130} <ffffffff80119f32>{do_page_fault+960}
<ffffffff803995f8>{thread_return+0} <ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:23
cpu 0 cold: high 62, batch 15 used:10
cpu 1 hot: high 186, batch 31 used:10
cpu 1 cold: high 62, batch 15 used:29
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       14096kB (0kB HighMem)
Active:247055 inactive:227010 dirty:0 writeback:1 unstable:0 free:3524 slab:14597 mapped:472975 pagetables:9868
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1612kB inactive:1240kB present:11364kB pages_scanned:3066 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:6056kB min:5712kB low:7140kB high:8568kB active:986608kB inactive:906800kB present:2052008kB pages_scanned:2027054 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 0*4kB 3*8kB 5*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 130*4kB 56*8kB 16*16kB 1*32kB 1*64kB 1*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 6056kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1507947, delete 1507853, find 446489/543961, race 1+98
Free swap  = 0kB
Total swap = 2096472kB
Free swap:            0kB
524208 pages of RAM
9194 reserved pages
93627 pages shared
94 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 6220539 and children.
Out of memory: Killed process 7478 (apache2).
oom-killer: gfp_mask=0x200d2, order=0

Call Trace: <ffffffff80151b1d>{out_of_memory+53} <ffffffff801536ab>{__alloc_pages+532}
<ffffffff80162e66>{read_swap_cache_async+73} <ffffffff80159776>{swapin_readahead+96}
<ffffffff8015b57e>{__handle_mm_fault+1512} <ffffffff80119f32>{do_page_fault+960}
<ffffffff8015e8d4>{vma_link+221} <ffffffff8015f841>{do_mmap_pgoff+1433}
<ffffffff8010b635>{error_exit+0}
Mem-info:
Node 0 DMA per-cpu:
cpu 0 hot: high 0, batch 1 used:0
cpu 0 cold: high 0, batch 1 used:0
cpu 1 hot: high 0, batch 1 used:0
cpu 1 cold: high 0, batch 1 used:0
Node 0 DMA32 per-cpu:
cpu 0 hot: high 186, batch 31 used:23
cpu 0 cold: high 62, batch 15 used:10
cpu 1 hot: high 186, batch 31 used:10
cpu 1 cold: high 62, batch 15 used:29
Node 0 Normal per-cpu: empty
Node 0 HighMem per-cpu: empty
Free pages:       14096kB (0kB HighMem)
Active:247055 inactive:227010 dirty:0 writeback:1 unstable:0 free:3524 slab:14597 mapped:472986 pagetables:9868
Node 0 DMA free:8040kB min:28kB low:32kB high:40kB active:1612kB inactive:1240kB present:11364kB pages_scanned:3066 all_unreclaimable? yes
lowmem_reserve[]: 0 2003 2003 2003
Node 0 DMA32 free:6056kB min:5712kB low:7140kB high:8568kB active:986608kB inactive:906800kB present:2052008kB pages_scanned:2032961 all_unreclaimable? yes
lowmem_reserve[]: 0 0 0 0
Node 0 Normal free:0kB min:0kB low:0kB high:0kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 HighMem free:0kB min:128kB low:128kB high:128kB active:0kB inactive:0kB present:0kB pages_scanned:0 all_unreclaimable? no
lowmem_reserve[]: 0 0 0 0
Node 0 DMA: 0*4kB 3*8kB 5*16kB 0*32kB 0*64kB 0*128kB 1*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 8040kB
Node 0 DMA32: 130*4kB 56*8kB 16*16kB 1*32kB 1*64kB 1*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 1*4096kB = 6056kB
Node 0 Normal: empty
Node 0 HighMem: empty
Swap cache: add 1507947, delete 1507864, find 446489/543961, race 1+98
Free swap  = 40kB
Total swap = 2096472kB
Free swap:           40kB
524208 pages of RAM
9194 reserved pages
93618 pages shared
95 pages swap cached
Out of Memory: Kill process 7313 (apache2) score 6191411 and children.
Out of memory: Killed process 7567 (apache2).
cron[19989]: (root) CMD (test -x /usr/sbin/run-crons && /usr/sbin/run-crons )

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah

Странно это... такое впечатление, что OOM killer просто не успевает убить достаточно процессов (но некоторые apache2 он всё же грохнул). Чтобы разобраться, нужен специалист покруче меня :)

echo 2 >/proc/sys/vm/overcommit_memory

tailgunner ★★★★★
()
Ответ на: комментарий от tailgunner 

с отключенным оверкоммитом вообще попа какая-то.

Система ненагружена, делаю:

# free
             total       used       free     shared    buffers     cached
Mem:       2060252    2015860      44392          0    1335236      89824
-/+ buffers/cache:     590800    1469452
Swap:      2096472          0    2096472

# sysctl vm.overcommit_memory=2
vm.overcommit_memory = 2

# free
-su: fork: Cannot allocate memory

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah

форки перестали работать. Слава богу echo 0 > /proc/sys/vm/overcommit_memory это builtin, а то бы пришлось опять ресет жать..

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah

> форки перестали работать.

Круто O_O Это сразу после перезагрузки? Можно побольше узнать о ядре?

Что будет, если:

echo 2 >/proc/sys/vm/overcommit_memory

echo 80 >/proc/sys/vm/overcommit_ratio

tailgunner ★★★★★
()
Ответ на: комментарий от tailgunner

echo 80 >/proc/sys/vm/overcommit_ratio ни на что не повлияло -- это ожидаемо потому что 2 в overcommit_memory отключает оверкоммит полностью и ratio не должен влиять.

Ядро такое:

2.6.16.19 #2 SMP x86_64

Попробовал на соседней машине, там все нормально, форкается. На нормальной машине ядро такое:

2.6.20-vs2.2.0-gentoo-r1-gfe-1.0 #6 SMP i686

dilmah ★★★★★
() автор топика
Ответ на: комментарий от dilmah

> 2 в overcommit_memory отключает оверкоммит полностью и ratio не должен влиять.

Если верить документации, оно влияет

> 2.6.16.19 #2 SMP x86_64

> 2.6.20-vs2.2.0-gentoo-r1-gfe-1.0 #6 SMP i686

Странно, что вся память занята под DMA32 - как будто она не освобождается, понятно, что OOM killer ее не очистит... может, с железом что? Или какой-то 64-бит специфический глюк.

tailgunner ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← mysql5: хранимые процедуры
Development
Сущевствует ли аналог Builder в Linux? →