LINUX.ORG.RU
ФорумAdmin

Странный сбой CentOS 6.2, не пойму в чём трабл


0

1

Произошёл странный сбой CentOS 6.2 (64х), нагрузка не превышает 30%, система CentOS свежая, железо новое i7 intel 2600 квадр, ядро дефолт, единственное сам диск разбивал прежде чем ставить систему. Диск SATA(WD 2Tb), рабивка стандарт, свап 16гб, бут 500мб, ноум 200гб, остальное под систему /. Загрузка ОЗУ 2.8 - 3.3 гб из 8гб, прикручен сайт, Апач с nginx, прект с игровыми серверами. Послений лог:

Mar 26 04:41:50 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:50 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:50 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:50 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:53 megatron kernel: ------------[ cut here ]------------
Mar 26 04:41:53 megatron kernel: WARNING: at net/sched/sch_generic.c:261 dev_watchdog+0x26d/0x280() (Not tainted)
Mar 26 04:41:53 megatron kernel: Hardware name: Z68A-D3H-B3
Mar 26 04:41:53 megatron kernel: NETDEV WATCHDOG: eth0 (r8169): transmit queue 0 timed out
Mar 26 04:41:53 megatron kernel: Modules linked in: nf_conntrack_ipv4 nf_defrag_ipv4 iptable_filter ip_tables nf_conntrack_ipv6 nf_defrag_ipv6 ip6table_filter ip6_tables xt_state nf_conntrack xt_recent xt_limit ip6t_REJECT fuse cpufreq_ondemand acpi_cpufreq freq_table mperf ipv6 ipt_REJECT uinput xhci_hcd r8169 mii sg microcode serio_raw i2c_i801 iTCO_wdt iTCO_vendor_support shpchp snd_hda_codec_hdmi snd_hda_codec_realtek snd_hda_intel snd_hda_codec snd_hwdep snd_seq snd_seq_device snd_pcm snd_timer snd soundcore snd_page_alloc ext4 mbcache jbd2 sr_mod cdrom sd_mod crc_t10dif pata_acpi ata_generic ata_piix wmi i915 drm_kms_helper drm i2c_algo_bit i2c_core video output dm_mirror dm_region_hash dm_log dm_mod [last unloaded: nf_defrag_ipv4]
Mar 26 04:41:53 megatron kernel: Pid: 0, comm: swapper Not tainted 2.6.32-220.el6.x86_64 #1
Mar 26 04:41:53 megatron kernel: Call Trace:
Mar 26 04:41:53 megatron kernel: <IRQ>  [<ffffffff81069b77>] ? warn_slowpath_common+0x87/0xc0
Mar 26 04:41:53 megatron kernel: [<ffffffff8101bd86>] ? intel_pmu_enable_all+0xa6/0x150
Mar 26 04:41:53 megatron kernel: [<ffffffff81069c66>] ? warn_slowpath_fmt+0x46/0x50
Mar 26 04:41:53 megatron kernel: [<ffffffff8144a54d>] ? dev_watchdog+0x26d/0x280
Mar 26 04:41:53 megatron kernel: [<ffffffff8144a2e0>] ? dev_watchdog+0x0/0x280
Mar 26 04:41:53 megatron kernel: [<ffffffff8107c957>] ? run_timer_softirq+0x197/0x340
Mar 26 04:41:53 megatron kernel: [<ffffffff810a0b70>] ? tick_sched_timer+0x0/0xc0
Mar 26 04:41:53 megatron kernel: [<ffffffff8102ad2d>] ? lapic_next_event+0x1d/0x30
Mar 26 04:41:53 megatron kernel: [<ffffffff81072161>] ? __do_softirq+0xc1/0x1d0
Mar 26 04:41:53 megatron kernel: [<ffffffff81095770>] ? hrtimer_interrupt+0x140/0x250
Mar 26 04:41:53 megatron kernel: [<ffffffff8100c24c>] ? call_softirq+0x1c/0x30
Mar 26 04:41:53 megatron kernel: [<ffffffff8100de85>] ? do_softirq+0x65/0xa0
Mar 26 04:41:53 megatron kernel: [<ffffffff81071f45>] ? irq_exit+0x85/0x90
Mar 26 04:41:53 megatron kernel: [<ffffffff814f4de0>] ? smp_apic_timer_interrupt+0x70/0x9b
Mar 26 04:41:53 megatron kernel: [<ffffffff8100bc13>] ? apic_timer_interrupt+0x13/0x20
Mar 26 04:41:53 megatron kernel: <EOI>  [<ffffffff812c4a5e>] ? intel_idle+0xde/0x170
Mar 26 04:41:53 megatron kernel: [<ffffffff812c4a41>] ? intel_idle+0xc1/0x170
Mar 26 04:41:53 megatron kernel: [<ffffffff81097c6d>] ? sched_clock_cpu+0xcd/0x110
Mar 26 04:41:53 megatron kernel: [<ffffffff813f9f47>] ? cpuidle_idle_call+0xa7/0x140
Mar 26 04:41:53 megatron kernel: [<ffffffff81009e06>] ? cpu_idle+0xb6/0x110
Mar 26 04:41:53 megatron kernel: [<ffffffff814e5f23>] ? start_secondary+0x202/0x245
Mar 26 04:41:53 megatron kernel: ---[ end trace 529daea5a805e150 ]---
Mar 26 04:41:55 megatron kernel: __ratelimit: 104 callbacks suppressed
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron abrt-dump-oops: Reported 1 kernel oopses to Abrt
Mar 26 04:41:55 megatron abrtd: Directory 'oops-2012-03-26-04:41:55-1903-0' creation detected
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron abrtd: Can't open file '/var/spool/abrt/oops-2012-03-26-04:41:55-1903-0/uid': No such file or directory
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:55 megatron kernel: r8169 0000:02:00.0: eth0: link up
Mar 26 04:41:58 megatron kernel: modprobe: page allocation failure. order:4, mode:0xd0
Mar 26 04:41:58 megatron kernel: Pid: 27756, comm: modprobe Tainted: G        W  ----------------   2.6.32-220.el6.x86_64 #1
Mar 26 04:41:58 megatron kernel: Call Trace:
Mar 26 04:41:58 megatron kernel: [<ffffffff81123f0f>] ? __alloc_pages_nodemask+0x77f/0x940
Mar 26 04:41:58 megatron kernel: [<ffffffff8115ddc2>] ? kmem_getpages+0x62/0x170
Mar 26 04:41:58 megatron kernel: [<ffffffff8115e9da>] ? fallback_alloc+0x1ba/0x270
Mar 26 04:41:58 megatron kernel: [<ffffffff8115e42f>] ? cache_grow+0x2cf/0x320
Mar 26 04:41:58 megatron kernel: [<ffffffff8115e759>] ? ____cache_alloc_node+0x99/0x160
Mar 26 04:41:58 megatron kernel: [<ffffffff8100bc0e>] ? apic_timer_interrupt+0xe/0x20
Mar 26 04:41:58 megatron kernel: [<ffffffff8115f53b>] ? kmem_cache_alloc+0x11b/0x190
Mar 26 04:41:58 megatron kernel: [<ffffffff81161a54>] ? kmem_cache_create+0x1e4/0x5a0
Mar 26 04:41:58 megatron kernel: [<ffffffff810fccbf>] ? trace_module_notify+0x3f/0x330
Mar 26 04:41:58 megatron kernel: [<ffffffff8115efb5>] ? kmem_cache_alloc_notrace+0x115/0x130
Mar 26 04:41:58 megatron kernel: [<ffffffffa020f000>] ? br_init+0x0/0xcf [bridge]
Mar 26 04:41:58 megatron kernel: [<ffffffffa020f0ee>] ? br_fdb_init+0x1f/0x47 [bridge]
Mar 26 04:41:58 megatron kernel: [<ffffffffa020f033>] ? br_init+0x33/0xcf [bridge]
Mar 26 04:41:58 megatron kernel: [<ffffffff8100204c>] ? do_one_initcall+0x3c/0x1d0
Mar 26 04:41:58 megatron kernel: [<ffffffff810af641>] ? sys_init_module+0xe1/0x250
Mar 26 04:41:58 megatron kernel: [<ffffffff8100b0f2>] ? system_call_fastpath+0x16/0x1b
Mar 26 04:41:58 megatron kernel: Mem-Info:
Mar 26 04:41:58 megatron kernel: Node 0 DMA per-cpu:
Mar 26 04:41:58 megatron kernel: CPU    0: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    1: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    2: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    3: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    4: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    5: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    6: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    7: hi:    0, btch:   1 usd:   0
Mar 26 04:41:58 megatron kernel: Node 0 DMA32 per-cpu:
Mar 26 04:41:58 megatron kernel: CPU    0: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    1: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    2: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    3: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    4: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    5: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    6: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    7: hi:  186, btch:  31 usd:   1
Mar 26 04:41:58 megatron kernel: Node 0 Normal per-cpu:
Mar 26 04:41:58 megatron kernel: CPU    0: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    1: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    2: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    3: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    4: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    5: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    6: hi:  186, btch:  31 usd:   0
Mar 26 04:41:58 megatron kernel: CPU    7: hi:  186, btch:  31 usd:  85
Mar 26 04:41:58 megatron kernel: active_anon:645274 inactive_anon:126305 isolated_anon:0
Mar 26 04:41:58 megatron kernel: active_file:532583 inactive_file:584989 isolated_file:0
Mar 26 04:41:58 megatron kernel: unevictable:0 dirty:372 writeback:0 unstable:0
Mar 26 04:41:58 megatron kernel: free:43981 slab_reclaimable:40455 slab_unreclaimable:13904
Mar 26 04:41:58 megatron kernel: mapped:23192 shmem:22522 pagetables:9256 bounce:0
Mar 26 04:41:58 megatron kernel: Node 0 DMA free:15724kB min:124kB low:152kB high:184kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15336kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Mar 26 04:41:58 megatron kernel: lowmem_reserve[]: 0 3431 7974 7974
Mar 26 04:41:58 megatron kernel: Node 0 DMA32 free:100828kB min:29028kB low:36284kB high:43540kB active_anon:934692kB inactive_anon:212788kB active_file:1026292kB inactive_file:1024504kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:3514080kB mlocked:0kB dirty:1192kB writeback:0kB mapped:31948kB shmem:1712kB slab_reclaimable:67660kB slab_unreclaimable:3736kB kernel_stack:256kB pagetables:3672kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Mar 26 04:41:58 megatron kernel: lowmem_reserve[]: 0 0 4543 4543
Mar 26 04:41:58 megatron kernel: Node 0 Normal free:59372kB min:38428kB low:48032kB high:57640kB active_anon:1646404kB inactive_anon:292432kB active_file:1104040kB inactive_file:1315452kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:4652060kB mlocked:0kB dirty:296kB writeback:0kB mapped:60820kB shmem:88376kB slab_reclaimable:94160kB slab_unreclaimable:51880kB kernel_stack:3560kB pagetables:33352kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:67 all_unreclaimable? no
Mar 26 04:41:58 megatron kernel: lowmem_reserve[]: 0 0 0 0
Mar 26 04:41:58 megatron kernel: Node 0 DMA: 3*4kB 2*8kB 1*16kB 2*32kB 2*64kB 1*128kB 0*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15724kB
Mar 26 04:41:58 megatron kernel: Node 0 DMA32: 13896*4kB 4125*8kB 777*16kB 16*32kB 1*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 101592kB
Mar 26 04:41:58 megatron kernel: Node 0 Normal: 1717*4kB 4002*8kB 1163*16kB 32*32kB 1*64kB 0*128kB 0*256kB 1*512kB 1*1024kB 0*2048kB 0*4096kB = 60116kB
Mar 26 04:41:58 megatron kernel: 1139915 total pagecache pages
Mar 26 04:41:58 megatron kernel: 56 pages in swap cache
Mar 26 04:41:58 megatron kernel: Swap cache stats: add 1332, delete 1276, find 899/904
Mar 26 04:41:58 megatron kernel: Free swap  = 16378864kB
Mar 26 04:41:58 megatron kernel: Total swap = 16383992kB
Mar 26 04:41:58 megatron kernel: 2096639 pages RAM
Mar 26 04:41:58 megatron kernel: 69873 pages reserved
Mar 26 04:41:58 megatron kernel: 266494 pages shared
Mar 26 04:41:58 megatron kernel: 1779864 pages non-shared
Mar 26 04:41:58 megatron modprobe: FATAL: Error inserting bridge (/lib/modules/2.6.32-220.el6.x86_64/kernel/net/bridge/bridge.ko): Cannot allocate memory
Mar 26 04:42:00 megatron kernel: __ratelimit: 113 callbacks suppressed
Mar 26 04:42:00 megatron kernel: r8169 0000:02:00.0: eth0: link up

Что может мешать нормальной работе?



Последнее исправление: Seruy (всего исправлений: 2)
Ответ на: комментарий от Komintern

Сервак раковский, или собрано из говна и плок?
Если не рак - разобрать и собрать заново, прочистить все контакты.
В том числе и сокетом процовым раза 3-4 щелкнуть. Была очень похожая на это лага.

gich
()

Первые четыре строки в логе настроаживают. Было такое же, лечил выгрузкой-загрузкой драйвера r8169 :-/

no-dashi ★★★★★
()
Ответ на: комментарий от gich

Под сервер закупалось:

Материнская плата GIGABYTE GA-Z68A-D3H-B3 LGA 1155, ATX, Ret Устройство охлаждения(кулер) TITAN FENRIR EVO TTC-NK85TZ/CS2(RB), 120мм Жесткий диск WD Caviar Black WD2002FAEX, 2Тб, HDD, SATA III Модуль памяти CORSAIR XMS3 CMX8GX3M2A1600C9 DDR3- 2x 4Гб, 1600, DIMM, Ret

Seruy
() автор топика
Ответ на: комментарий от Seruy

Процессор INTEL Core i7 2600K, LGA 1155, oem [cm8062300833908s r00c] Блок питания AEROCOOL Strike-X 800, 800Вт, 140мм, красный, retail Корпус серверный Чифтек, доп. куллеры на корпусе как положено.

Seruy
() автор топика
Ответ на: комментарий от Komintern

С работы приду посмотрю, лежит дома точно сетевая гигабит от Асус, попробывать её может?

Всё с нуля разбирать думаю это уже крайний вариант...

Seruy
() автор топика
Ответ на: комментарий от Seruy

Всем спасибо за советы. Если с Асус будут проблемы, сетевую Интел уже присмотрел. Отпишу как сменю карту.

Seruy
() автор топика

Сетевуха не как PCI-E определяется? А то может pcie_aspm=off в /boot/grub/menu.lst в разделе kernel= прописать?

iMp ★★★
()

Я бы сначала перезагрузил драйвер сетевой карточки с параллельным мониторингом лога. Смена карточки - это уже после.

blackst0ne ★★★★★
()
Ответ на: комментарий от blackst0ne

Благодарю за советы. Прописано pcie_aspm=off но лог пестрит на гигабитный реалтек: [code] Mar 29 00:25:42 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 00:54:21 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 01:30:18 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 01:55:18 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 02:15:56 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 03:24:34 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 04:49:07 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 07:14:53 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 07:36:09 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 07:38:13 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 08:24:58 megatron kernel: r8169 0000:02:00.0: eth0: link up Mar 29 09:24:55 megatron kernel: r8169 0000:02:00.0: eth0: link up [/code]

Но серьёзных сбоев нет, в логи только сорит.

Сделал вчера заказ карточки Intel EXPI9301CTBLK после обеда будет доставка, вечером после работы буду ставить, параметр pcie_aspm=off пока убираю. Отпишусь о результатах. А там уже по советам буду смотреть, что в логах, может и драйвер подгрузим.

Seruy
() автор топика
Ответ на: комментарий от Seruy

Карту поставил Intel EXPI9301CTBLK (PCI-E), прошли сутки, логи:

[code] Mar 30 02:56:58 megatron dhclient[1738]: DHCPREQUEST on eth2 to 192.168.1.1 port 67 (xid=0x12707bf4) Mar 30 02:56:58 megatron dhclient[1738]: DHCPACK from 192.168.1.1 (xid=0x12707bf4) Mar 30 02:56:58 megatron dhclient[1738]: bound to 192.168.1.2 — renewal in 42145 seconds. Mar 30 02:56:58 megatron NetworkManager[1709]: <info> (eth2): DHCPv4 state changed reboot -> renew Mar 30 02:56:58 megatron NetworkManager[1709]: <info> address 192.168.1.2 Mar 30 02:56:58 megatron NetworkManager[1709]: <info> prefix 24 (255.255.255.0) Mar 30 02:56:58 megatron NetworkManager[1709]: <info> gateway 192.168.1.1 Mar 30 02:56:58 megatron NetworkManager[1709]: <info> nameserver '192.168.1.1' Mar 30 14:39:23 megatron dhclient[1738]: DHCPREQUEST on eth2 to 192.168.1.1 port 67 (xid=0x12707bf4) Mar 30 14:39:23 megatron dhclient[1738]: DHCPACK from 192.168.1.1 (xid=0x12707bf4) Mar 30 14:39:23 megatron dhclient[1738]: bound to 192.168.1.2 — renewal in 32704 seconds. [/code]

Полёт нормальный.

Seruy
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.