Завис сервер. Поднялся после ресета. Что это было? Поиск причины.

0

1

Завис сервер на Wheezy: SSH, FTP, Apache не отвечают. После ребута по питанию все поднялось как ни в чем не бывало. Подозрение в порядке приоритетов: загрузочный носитель (фс), подыхающая планка памяти, матплата. Собственно говоря, вопрос: В каких логах и на предмет чего искать для установления точной причины сбоя?

Ссылка

←	xdotool не работает или ....

Как слелать ваш браузер не съедать всю оперативку (делимся лайфхаками)

→

/var/log/messages

r0ck3r ★★★★★
(31.05.18 16:11:23 MSK)

Если есть подозрение на сбои, то настрой логирование на удалённую машину. syslog это умеет

Radjah ★★★★★
(31.05.18 16:12:37 MSK)

Ответ на: комментарий от r0ck3r 31.05.18 16:11:23 MSK

May 31 07:15:53 ftp kernel: [4262880.676079] kworker/0:1     D ffff88009dc127c0     0  6197      2 0x00000000
May 31 07:15:53 ftp kernel: [4262880.676086]  ffff8800993718c0 0000000000000046 0000000000000000 ffff88009a281040
May 31 07:15:53 ftp kernel: [4262880.676092]  00000000000127c0 ffff880000043fd8 ffff880000043fd8 ffff8800993718c0
May 31 07:15:53 ftp kernel: [4262880.676097]  ffff880000043cb6 ffff8800ffffffff 000000000000000a 7fffffffffffffff
May 31 07:15:53 ftp kernel: [4262880.676103] Call Trace:
May 31 07:15:53 ftp kernel: [4262880.676113]  [<ffffffff81351103>] ? schedule_timeout+0x2c/0xdb
May 31 07:15:53 ftp kernel: [4262880.676119]  [<ffffffff81037250>] ? test_tsk_need_resched+0xa/0x13
May 31 07:15:53 ftp kernel: [4262880.676125]  [<ffffffff8103b0f6>] ? check_preempt_curr+0x52/0x5f
May 31 07:15:53 ftp kernel: [4262880.676130]  [<ffffffff81350d49>] ? wait_for_common+0xa0/0x119
May 31 07:15:53 ftp kernel: [4262880.676135]  [<ffffffff8103f764>] ? try_to_wake_up+0x197/0x197
May 31 07:15:53 ftp kernel: [4262880.676141]  [<ffffffff8105fa4d>] ? kthread_create_on_node+0x8f/0x109
May 31 07:15:53 ftp kernel: [4262880.676146]  [<ffffffff8105c702>] ? manage_workers.isra.25+0x15b/0x15b
May 31 07:15:53 ftp kernel: [4262880.676151]  [<ffffffff8135205f>] ? _raw_spin_unlock_irqrestore+0xe/0xf
May 31 07:15:53 ftp kernel: [4262880.676156]  [<ffffffff8105c511>] ? create_worker+0xcb/0x161
May 31 07:15:53 ftp kernel: [4262880.676161]  [<ffffffff8105c64e>] ? manage_workers.isra.25+0xa7/0x15b
May 31 07:15:53 ftp kernel: [4262880.676165]  [<ffffffff8105c78f>] ? worker_thread+0x8d/0x145
May 31 07:15:53 ftp kernel: [4262880.676170]  [<ffffffff8105c702>] ? manage_workers.isra.25+0x15b/0x15b
May 31 07:15:53 ftp kernel: [4262880.676175]  [<ffffffff8105f911>] ? kthread+0x76/0x7e
May 31 07:15:53 ftp kernel: [4262880.676181]  [<ffffffff813591f4>] ? kernel_thread_helper+0x4/0x10
May 31 07:15:53 ftp kernel: [4262880.676186]  [<ffffffff8105f89b>] ? kthread_worker_fn+0x139/0x139
May 31 07:15:53 ftp kernel: [4262880.676191]  [<ffffffff813591f0>] ? gs_change+0x13/0x13

И далее повторения через каждые 2 мин до 7:45, потом глухо.

greenplastic
(31.05.18 16:22:39 MSK) автор топика

Ссылка

Ответ на: комментарий от Radjah 31.05.18 16:12:37 MSK

Не особо нужно, поскольку сбои непостоянные. Год аптайм без проблем держал.

greenplastic
(31.05.18 16:24:32 MSK) автор топика

Ссылка

Ответ на: комментарий от r0ck3r 31.05.18 16:11:23 MSK

Вот еще:

May 31 07:39:51 ftp kernel: [4264320.676090] mandb           D ffff88009dc127c0     0  6906   6791 0x00000000
May 31 07:39:51 ftp kernel: [4264320.676098]  ffff88003718a840 0000000000000086 0000000000000246 ffff880097069840
May 31 07:39:51 ftp kernel: [4264320.676104]  00000000000127c0 ffff88001b9c9fd8 ffff88001b9c9fd8 ffff88003718a840
May 31 07:39:51 ftp kernel: [4264320.676109]  ffff88001b9c9428 ffff88001b9c9428 ffff880037157e50 ffff88009dc13010
May 31 07:39:51 ftp kernel: [4264320.676115] Call Trace:
May 31 07:39:51 ftp kernel: [4264320.676125]  [<ffffffff8111e7c1>] ? wait_on_buffer+0x28/0x28
May 31 07:39:51 ftp kernel: [4264320.676132]  [<ffffffff81350ee9>] ? io_schedule+0x59/0x71
May 31 07:39:51 ftp kernel: [4264320.676137]  [<ffffffff8111e7c7>] ? sleep_on_buffer+0x6/0xa
May 31 07:39:51 ftp kernel: [4264320.676141]  [<ffffffff8135132c>] ? __wait_on_bit+0x3e/0x71
May 31 07:39:51 ftp kernel: [4264320.676146]  [<ffffffff813513ce>] ? out_of_line_wait_on_bit+0x6f/0x78
May 31 07:39:51 ftp kernel: [4264320.676151]  [<ffffffff8111e7c1>] ? wait_on_buffer+0x28/0x28
May 31 07:39:51 ftp kernel: [4264320.676166]  [<ffffffff8105ff8d>] ? autoremove_wake_function+0x2a/0x2a
May 31 07:39:51 ftp kernel: [4264320.676172]  [<ffffffff811209da>] ? __bread_gfp+0x51/0x67
May 31 07:39:51 ftp kernel: [4264320.676189]  [<ffffffffa00e1116>] ? ext2_get_branch+0x7e/0x115 [ext2]
May 31 07:39:51 ftp kernel: [4264320.676197]  [<ffffffffa00e188c>] ? ext2_get_blocks+0x93/0x6eb [ext2]
May 31 07:39:51 ftp kernel: [4264320.676202]  [<ffffffff810edee0>] ? kmem_cache_alloc+0x86/0xea
May 31 07:39:51 ftp kernel: [4264320.676207]  [<ffffffff810b770a>] ? mempool_alloc+0x45/0xfa
May 31 07:39:51 ftp kernel: [4264320.676214]  [<ffffffff810cad9e>] ? zone_page_state_add+0x14/0x23
May 31 07:39:51 ftp kernel: [4264320.676219]  [<ffffffff810cb9f4>] ? __inc_zone_state+0x41/0x49
May 31 07:39:51 ftp kernel: [4264320.676223]  [<ffffffff810cbc11>] ? zone_statistics+0x41/0x74
May 31 07:39:51 ftp kernel: [4264320.676231]  [<ffffffffa00e1f08>] ? ext2_get_block+0x24/0x3d [ext2]
May 31 07:39:51 ftp kernel: [4264320.676236]  [<ffffffff81125d80>] ? do_mpage_readpage+0x160/0x44c
May 31 07:39:51 ftp kernel: [4264320.676242]  [<ffffffff810f79c1>] ? mem_cgroup_cache_charge+0x23/0xee
May 31 07:39:51 ftp kernel: [4264320.676248]  [<ffffffff810b5e08>] ? add_to_page_cache_locked+0x9c/0xe0
May 31 07:39:51 ftp kernel: [4264320.676254]  [<ffffffff810bf073>] ? __lru_cache_add+0x2b/0x51
May 31 07:39:51 ftp kernel: [4264320.676261]  [<ffffffffa00e1ee4>] ? ext2_get_blocks+0x6eb/0x6eb [ext2]
May 31 07:39:51 ftp kernel: [4264320.676266]  [<ffffffff811261c3>] ? mpage_readpages+0xdd/0x134
May 31 07:39:51 ftp kernel: [4264320.676273]  [<ffffffffa00e1ee4>] ? ext2_get_blocks+0x6eb/0x6eb [ext2]
May 31 07:39:51 ftp kernel: [4264320.676280]  [<ffffffff810bdff9>] ? __do_page_cache_readahead+0x11e/0x1c3
May 31 07:39:51 ftp kernel: [4264320.676286]  [<ffffffff810be2f6>] ? ra_submit+0x19/0x1d
May 31 07:39:51 ftp kernel: [4264320.676290]  [<ffffffff810b7194>] ? filemap_fault+0x15c/0x33e
May 31 07:39:51 ftp kernel: [4264320.676295]  [<ffffffff810cf7a8>] ? __do_fault+0xc8/0x3ac
May 31 07:39:51 ftp kernel: [4264320.676301]  [<ffffffff810d1dac>] ? handle_pte_fault+0x2c6/0x7c8
May 31 07:39:51 ftp kernel: [4264320.676305]  [<ffffffff810cf26d>] ? set_pmd+0x5/0x8
May 31 07:39:51 ftp kernel: [4264320.676310]  [<ffffffff810d0337>] ? __pte_alloc+0x87/0x11e
May 31 07:39:51 ftp kernel: [4264320.676314]  [<ffffffff810cf2fd>] ? pte_offset_kernel+0x16/0x35
May 31 07:39:51 ftp kernel: [4264320.676319]  [<ffffffff81355073>] ? do_page_fault+0x320/0x345
May 31 07:39:51 ftp kernel: [4264320.676326]  [<ffffffff811af941>] ? prio_tree_insert+0x174/0x226
May 31 07:39:51 ftp kernel: [4264320.676332]  [<ffffffff811b74c0>] ? hweight_long+0x5/0x6
May 31 07:39:51 ftp kernel: [4264320.676337]  [<ffffffff810c9069>] ? vma_prio_tree_insert+0x1d/0x35
May 31 07:39:51 ftp kernel: [4264320.676342]  [<ffffffff81011713>] ? arch_get_unmapped_area_topdown+0x46/0x29f
May 31 07:39:51 ftp kernel: [4264320.676348]  [<ffffffff81352615>] ? page_fault+0x25/0x30
May 31 07:39:51 ftp kernel: [4264320.676354]  [<ffffffff811b5df3>] ? __clear_user+0x2d/0x50
May 31 07:39:51 ftp kernel: [4264320.676359]  [<ffffffff811b5dd5>] ? __clear_user+0xf/0x50
May 31 07:39:51 ftp kernel: [4264320.676364]  [<ffffffff8113561b>] ? padzero+0x1c/0x2a
May 31 07:39:51 ftp kernel: [4264320.676369]  [<ffffffff81136ed7>] ? load_elf_binary+0x8d9/0x172e
May 31 07:39:51 ftp kernel: [4264320.676374]  [<ffffffff8103666c>] ? should_resched+0x5/0x23
May 31 07:39:52 ftp kernel: [4264320.676379]  [<ffffffff81350c94>] ? _cond_resched+0x7/0x1c
May 31 07:39:52 ftp kernel: [4264320.676384]  [<ffffffff810ffd0d>] ? get_user_arg_ptr.isra.19+0x34/0x48
May 31 07:39:52 ftp kernel: [4264320.676388]  [<ffffffff8103666c>] ? should_resched+0x5/0x23
May 31 07:39:52 ftp kernel: [4264320.676393]  [<ffffffff8110028a>] ? search_binary_handler+0xc6/0x25b
May 31 07:39:52 ftp kernel: [4264320.676398]  [<ffffffff811365fe>] ? load_elf_library+0x228/0x228
May 31 07:39:52 ftp kernel: [4264320.676403]  [<ffffffff81100fe7>] ? do_execve_common.isra.26+0x1d2/0x2d1
May 31 07:39:52 ftp kernel: [4264320.676408]  [<ffffffff81014ff2>] ? sys_execve+0x3f/0x54
May 31 07:39:52 ftp kernel: [4264320.676414]  [<ffffffff8135750c>] ? stub_execve+0x6c/0xc0

greenplastic
(31.05.18 16:29:33 MSK) автор топика

Ответ на: комментарий от greenplastic 31.05.18 16:29:33 MSK

выложи весь лог на какой-нибудь пастебин

r0ck3r ★★★★★
(31.05.18 16:29:56 MSK)

Ответ на: комментарий от r0ck3r 31.05.18 16:29:56 MSK

https://pastebin.com/DauAwAWC

greenplastic
(31.05.18 16:38:51 MSK) автор топика

Ответ на: комментарий от greenplastic 31.05.18 16:38:51 MSK

какая фс? Похоже, что в какой-то момент сервер не смог скинуть данные на диск. Проблема может быть в физическом износе диска или шлейфа, либо в ошибках на ФС

r0ck3r ★★★★★
(31.05.18 17:16:18 MSK)
Последнее исправление: r0ck3r 31.05.18 17:17:45 MSK (всего исправлений: 1)