Начал виснуть сервер Debian после старта задания rsync
Форум — General
Добрый день ув. форумчане. Такая ситуация: Начал виснуть сервер Debian после старта задания rsync. В 0:00 стартует скрипт бэкапа файловой шары с помощью rsync. Утром сервер пингуется, но ни на шару ни по ssh не зайти. Используется программный RAID mdadm. Бэкап делается на локально подключенный диск, не в сеть.
Предистория: Пользователь поймал шифровальщика в конце рабочего дня. Заметили на следующее утро. По шифровалась одна папка в шаре. Ночью сделался бэкап. Rsync у нас работает по принципу «машина времени» Есть первый бэкап полный и с ним rsync сверяет изменения и бэкапит только то что с изменениями. Соответственно ночной бэкап с шифрованными файлами был. Удалили этот снимок ночной. Переделали симлинк на предыдущий нормальный снимок. И в следующую ночь сервер стал виснуть. Появляется папка нового бэкапа, подкаталоги и в самой верхней по иерархии директории есть какие то файлы. Но остальное пусто. 3 раза запускался ночной бэкап после этого и файлов каждый раз по разному в снимке, то больше то меньше.
Резюме: Так глубоко я еще не успел изучить систему Linux. Куда можно поглядеть для более точной информации по моей проблеме не знаю, все логи уже переглядел. Но пока не нашел причину зависания. Подскажите пожалуйста что можно попробовать, чтобы выявить причину. Если указал не все данные, подскажите какие выводы еще показать, для более детального изучения.
Заранее спасибо.
Система:
root@srvfs2:/# uname -a
Linux srvfs2 3.16.0-4-686-pae #1 SMP Debian 3.16.7-ckt25-2 (2016-04-08) i686 GNU/Linux
Файловые системы:
root@srvfs2:/# df -h
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
/dev/sde1 132G 79G 47G 63% /
udev 10M 0 10M 0% /dev
tmpfs 3,2G 93M 3,1G 3% /run
tmpfs 8,0G 0 8,0G 0% /dev/shm
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 8,0G 0 8,0G 0% /sys/fs/cgroup
/dev/md2p1 908G 715G 184G 80% /mnt/docfs
/dev/md2p2 1,8T 1,1T 625G 65% /mnt/archfs
Состояние mdadm:
root@srvfs2:/# cat /proc/mdstat
Personalities : [raid1] [raid0]
md2 : active raid0 md0[0] md1[1]
2929141760 blocks super 1.2 512k chunks
md1 : active raid1 sdb[2] sda[3]
1952983040 blocks super 1.2 [2/2] [UU]
bitmap: 0/8 pages [0KB], 131072KB chunk
md0 : active raid1 sdd[3] sdc[2]
1952983040 blocks super 1.2 [2/2] [UU]
bitmap: 0/15 pages [0KB], 65536KB chunk
unused devices: <none>
root@srvfs2:/# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Tue Oct 6 16:05:02 2015
Raid Level : raid1
Array Size : 1952983040 (1862.51 GiB 1999.85 GB)
Used Dev Size : 1952983040 (1862.51 GiB 1999.85 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Intent Bitmap : Internal
Update Time : Wed Oct 16 13:07:32 2019
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Name : srvfs1:md0
UUID : 92d3ca47:b3e0f6e5:0332d797:433b9e4a
Events : 202117
Number Major Minor RaidDevice State
3 8 48 0 active sync /dev/sdd
2 8 32 1 active sync /dev/sdc
root@srvfs2:/# mdadm --detail /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Tue Oct 6 16:05:18 2015
Raid Level : raid1
Array Size : 1952983040 (1862.51 GiB 1999.85 GB)
Used Dev Size : 1952983040 (1862.51 GiB 1999.85 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Intent Bitmap : Internal
Update Time : Wed Oct 16 13:08:04 2019
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Name : srvfs1:md1
UUID : 8ef80f43:c9ce5990:282b7106:521f24b5
Events : 206190
Number Major Minor RaidDevice State
2 8 16 0 active sync /dev/sdb
3 8 0 1 active sync /dev/sda
root@srvfs2:/# mdadm --detail /dev/md2
/dev/md2:
Version : 1.2
Creation Time : Tue Oct 6 16:09:34 2015
Raid Level : raid0
Array Size : 2929141760 (2793.45 GiB 2999.44 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Tue Oct 6 16:09:34 2015
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Chunk Size : 512K
Name : srvfs1:md2
UUID : feb5ef06:2e859b5f:4ac63db7:50962fe1
Events : 0
Number Major Minor RaidDevice State
0 9 0 0 active sync /dev/md/md0
1 9 1 1 active sync /dev/md/md1
root@srvfs2:/# mdadm --detail /dev/md2p1
/dev/md2p1:
Version : 1.2
Creation Time : Tue Oct 6 16:09:34 2015
Raid Level : raid0
Array Size : 966616064 (921.84 GiB 989.81 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Tue Oct 6 16:09:34 2015
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Chunk Size : 512K
Name : srvfs1:md2
UUID : feb5ef06:2e859b5f:4ac63db7:50962fe1
Events : 0
Number Major Minor RaidDevice State
0 9 0 0 active sync /dev/md/md0
1 9 1 1 active sync /dev/md/md1
root@srvfs2:/# mdadm --detail /dev/md2p2
/dev/md2p2:
Version : 1.2
Creation Time : Tue Oct 6 16:09:34 2015
Raid Level : raid0
Array Size : 1962523648 (1871.61 GiB 2009.62 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Tue Oct 6 16:09:34 2015
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Chunk Size : 512K
Name : srvfs1:md2
UUID : feb5ef06:2e859b5f:4ac63db7:50962fe1
Events : 0
Number Major Minor RaidDevice State
0 9 0 0 active sync /dev/md/md0
1 9 1 1 active sync /dev/md/md1
kern.log (кусочек из этого лога, остальные сообщения очень похожи Sep 18 01:22:45 srvfs2 kernel: [64257.109379] NMI backtrace for cpu…. и так далее. :
Sep 18 01:22:45 srvfs2 kernel: [64257.109379] NMI backtrace for cpu 0
Sep 18 01:22:45 srvfs2 kernel: [64257.109381] CPU: 0 PID: 7938 Comm: rsync Not tainted 3.16.0-4-686-pae #1 Debian 3.16.7-ckt25-2
Sep 18 01:22:45 srvfs2 kernel: [64257.109466] Hardware name: Intel Corporation S3420GP/S3420GP, BIOS S3420GP.86B.01.00.0047.111620101731 11/16/2010
Sep 18 01:22:45 srvfs2 kernel: [64257.109555] task: ecac5ab0 ti: d3210000 task.ti: d3210000
Sep 18 01:22:45 srvfs2 kernel: [64257.109603] EIP: 0060:[<c125ae5c>] EFLAGS: 00000807 CPU: 0
Sep 18 01:22:45 srvfs2 kernel: [64257.109606] EIP is at delay_tsc+0x1c/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109608] EAX: 398adc24 EBX: 0024538e ECX: fffff000 EDX: 00008c4c
Sep 18 01:22:45 srvfs2 kernel: [64257.109610] ESI: c1614f80 EDI: 00000000 EBP: ed009e5c ESP: ed009e50
Sep 18 01:22:45 srvfs2 kernel: [64257.109611] DS: 007b ES: 007b FS: 00d8 GS: 00e0 SS: 0068
Sep 18 01:22:45 srvfs2 kernel: [64257.109613] CR0: 80050033 CR2: b867c000 CR3: 188db000 CR4: 000007f0
Sep 18 01:22:45 srvfs2 kernel: [64257.109613] Stack:
Sep 18 01:22:45 srvfs2 kernel: [64257.109650] 00002710 c1614f80 f757e620 ed009e74 c125add8 c104038a c1548401 c157a0ce
Sep 18 01:22:45 srvfs2 kernel: [64257.109653] c1614f80 ed009ebc c10ac95d c1557924 0000520b 00199cbc 00199cbb 0000056f
Sep 18 01:22:45 srvfs2 kernel: [64257.109656] 00000000 ed009ebc c1084790 00000001 c166a5ec c1614f80 f757e620 00000000
Sep 18 01:22:45 srvfs2 kernel: [64257.109659] Call Trace:
Sep 18 01:22:45 srvfs2 kernel: [64257.109698] [<c125add8>] ? __const_udelay+0x18/0x20
Sep 18 01:22:45 srvfs2 kernel: [64257.109701] [<c104038a>] ? arch_trigger_all_cpu_backtrace+0x9a/0xd0
Sep 18 01:22:45 srvfs2 kernel: [64257.109706] [<c10ac95d>] ? rcu_check_callbacks+0x38d/0x5b0
Sep 18 01:22:45 srvfs2 kernel: [64257.109710] [<c1084790>] ? account_process_tick+0x60/0x130
Sep 18 01:22:45 srvfs2 kernel: [64257.109714] [<c1062dac>] ? update_process_times+0x3c/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109718] [<c10b78e6>] ? tick_sched_handle.isra.13+0x26/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109720] [<c10b7957>] ? tick_sched_timer+0x37/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109723] [<c1075db8>] ? __remove_hrtimer+0x38/0x90
Sep 18 01:22:45 srvfs2 kernel: [64257.109725] [<c10766cd>] ? __run_hrtimer+0x6d/0x190
Sep 18 01:22:45 srvfs2 kernel: [64257.109727] [<c10b7920>] ? tick_sched_handle.isra.13+0x60/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109729] [<c1076e48>] ? hrtimer_interrupt+0x1e8/0x2a0
Sep 18 01:22:45 srvfs2 kernel: [64257.109732] [<c132b0fc>] ? credit_entropy_bits+0x22c/0x2a0
Sep 18 01:22:45 srvfs2 kernel: [64257.109735] [<c1048195>] ? hpet_interrupt_handler+0x15/0x40
Sep 18 01:22:45 srvfs2 kernel: [64257.109739] [<c10a3685>] ? handle_irq_event_percpu+0x35/0x180
Sep 18 01:22:45 srvfs2 kernel: [64257.109740] [<c10a5bd0>] ? handle_simple_irq+0x70/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109743] [<c147fc27>] ? nmi_stack_correct+0x2f/0x34
Sep 18 01:22:45 srvfs2 kernel: [64257.109746] [<c10a37fa>] ? handle_irq_event+0x2a/0x50
Sep 18 01:22:45 srvfs2 kernel: [64257.109748] [<c10a5bd0>] ? handle_simple_irq+0x70/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109750] [<c10a5c36>] ? handle_edge_irq+0x66/0x100
Sep 18 01:22:45 srvfs2 kernel: [64257.109752] [<c1011751>] ? handle_irq+0x71/0x90
Sep 18 01:22:45 srvfs2 kernel: [64257.109753] <IRQ>
Sep 18 01:22:45 srvfs2 kernel: [64257.109760] [<c147fd7c>] ? do_IRQ+0x3c/0xd0
Sep 18 01:22:45 srvfs2 kernel: [64257.109800] [<c147f2b3>] ? common_interrupt+0x33/0x38
Sep 18 01:22:45 srvfs2 kernel: [64257.109805] [<f7f686d7>] ? mb_cache_entry_get+0x57/0x1c0 [mbcache]
Sep 18 01:22:45 srvfs2 kernel: [64257.109808] [<c11983b0>] ? __getblk_gfp+0x30/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109816] [<f819a0a0>] ? ext4_xattr_block_set+0x70/0xa20 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109824] [<f8199cba>] ? ext4_xattr_block_find.isra.7+0x16a/0x1f0 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109832] [<f8199700>] ? ext4_xattr_set_entry+0x20/0x2e0 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109840] [<f819b34e>] ? ext4_xattr_set_handle+0x13e/0x390 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109848] [<f819b677>] ? ext4_xattr_set+0xd7/0x110 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109851] [<c118b813>] ? generic_setxattr+0x53/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109853] [<c118b7c0>] ? generic_listxattr+0xe0/0xe0
Sep 18 01:22:45 srvfs2 kernel: [64257.109855] [<c118bf69>] ? __vfs_setxattr_noperm+0x59/0x1a0
Sep 18 01:22:45 srvfs2 kernel: [64257.109857] [<c11e2091>] ? cap_inode_setxattr+0x41/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109858] [<c118b7c0>] ? generic_listxattr+0xe0/0xe0
Sep 18 01:22:45 srvfs2 kernel: [64257.109860] [<c118c139>] ? vfs_setxattr+0x89/0x90
Sep 18 01:22:45 srvfs2 kernel: [64257.109862] [<c118c22c>] ? setxattr+0xec/0x180
Sep 18 01:22:45 srvfs2 kernel: [64257.109864] [<c11767c7>] ? path_lookupat+0x67/0x660
Sep 18 01:22:45 srvfs2 kernel: [64257.109866] [<c1175a5f>] ? getname_flags+0x3f/0x140
Sep 18 01:22:45 srvfs2 kernel: [64257.109868] [<c1176de5>] ? filename_lookup+0x25/0xb0
Sep 18 01:22:45 srvfs2 kernel: [64257.109870] [<c117a799>] ? user_path_at_empty+0x49/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109872] [<c117a799>] ? user_path_at_empty+0x49/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109874] [<c116e517>] ? __sb_start_write+0x47/0xd0
Sep 18 01:22:45 srvfs2 kernel: [64257.109883] [<f819aa50>] ? ext4_xattr_block_set+0xa20/0xa20 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109885] [<c118c53b>] ? SyS_lsetxattr+0x8b/0xd0