LINUX.ORG.RU
ФорумAdmin

LA 6.0 (1 ядро) CPU idle 100% 0,0 wa

 , ,


0

2

Всем привет. Дали мне сегодня админить веб cервер который крутится на vps. Делаю top и вижу черный меджик:

top - 23:45:56 up 24 days,  9:27,  1 user,  load average: 6,00, 5,92, 5,32
Tasks: 100 total,   2 running,  98 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0,3 us,  0,0 sy,  0,0 ni, 99,7 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem :  1876372 total,   262744 free,   456020 used,  1157608 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  1113924 avail Mem 

Посмотрел что на форуме пишут. Говорят мол дисковая система загружена, но это не мой случай т.к. 0,0 wa Запускаю iotop и вижу что диск не загружен ввобще.

Вопрос1: Счем может быть такое высокое значение LA для одноядерного проца? Может это связано с VPS?

Идем дальше. Думаю гляну что с дисковой системой, сколько место свободно. Делаю df -h и все моя сессия подвисает. blkid выдает следующее.

/dev/xvda1: UUID="5fc2ec0f-e66f-4a7d-a74a-627f54e8bafe" TYPE="ext4" 
/dev/xvda2: UUID="43e07b40-3b13-475c-b377-d044b259e77c" TYPE="swap" 
/dev/xvda3: UUID="cf988a1c-f16d-441d-af89-1ff2ba637b80" TYPE="ext4"
Понимаю что диски виртуальные.

Вопрос2: Как узнать сколько место свободного? И вообще дисковая система живая или нет?



Последнее исправление: ibahob (всего исправлений: 1)

Хе-хе, вот

Делаю df -h и все моя сессия подвисает.

и причина высокого LA. Где-то отвалился дисковый mount и каждая программа, обратившаяся по соотв. пути блокируется в uninterruptible sleep (D state), увеличивая LA на 1.

unanimous ★★★★★
()
Ответ на: комментарий от unanimous

Смотрю fstab

UUID=cf988a1c-f16d-441d-af89-1ff2ba637b80 /                       ext4    defaults        1 1
UUID=5fc2ec0f-e66f-4a7d-a74a-627f54e8bafe /boot                   ext4    defaults        1 2
#UUID=43e07b40-3b13-475c-b377-d044b259e77c swap                    swap    defaults        0 0

Потом смотрю blkid

/dev/xvda1: UUID="5fc2ec0f-e66f-4a7d-a74a-627f54e8bafe" TYPE="ext4" 
/dev/xvda2: UUID="43e07b40-3b13-475c-b377-d044b259e77c" TYPE="swap" 
/dev/xvda3: UUID="cf988a1c-f16d-441d-af89-1ff2ba637b80" TYPE="ext4"

Все что нужно нормально примонтировано, проде ничего не отвалилось. Или я чтото не понимаю? Что можете посоветовать?

ibahob
() автор топика

Посмотрел dmesg

пн лип  2 15:56:52 2018] INFO: task df:22387 blocked for more than 120 seconds.
[пн лип  2 15:56:52 2018] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[пн лип  2 15:56:52 2018]  ffff88000f8b7a30 0000000000000082 ffff880036aa4500 ffff88000f8b7fd8
[пн лип  2 15:56:52 2018]  ffff88000f8b7fd8 ffff88000f8b7fd8 ffff880036aa4500 ffff880036ab3218
[пн лип  2 15:56:52 2018]  ffff880036ab3220 7fffffffffffffff ffff880036aa4500 ffff88003690c200
[пн лип  2 15:56:52 2018] Call Trace:
[пн лип  2 15:56:52 2018]  [<ffffffff8163b809>] schedule+0x29/0x70
[пн лип  2 15:56:52 2018]  [<ffffffff816394f9>] schedule_timeout+0x209/0x2d0
[пн лип  2 15:56:52 2018]  [<ffffffff810a6966>] ? finish_wait+0x56/0x70
[пн лип  2 15:56:52 2018]  [<ffffffff81639a42>] ? mutex_lock+0x12/0x2f
[пн лип  2 15:56:52 2018]  [<ffffffff81267732>] ? autofs4_wait+0x3f2/0x900
[пн лип  2 15:56:52 2018]  [<ffffffff8163bbd6>] wait_for_completion+0x116/0x170
[пн лип  2 15:56:52 2018]  [<ffffffff810b88d0>] ? wake_up_state+0x20/0x20
[пн лип  2 15:56:52 2018]  [<ffffffff812688ab>] autofs4_expire_wait+0x6b/0x110
[пн лип  2 15:56:52 2018]  [<ffffffff81265962>] do_expire_wait+0x172/0x190
[пн лип  2 15:56:52 2018]  [<ffffffff81265b5f>] autofs4_d_manage+0x6f/0x170
[пн лип  2 15:56:52 2018]  [<ffffffff811e9355>] follow_managed+0xb5/0x300
[пн лип  2 15:56:52 2018]  [<ffffffff811e9c6b>] lookup_fast+0x19b/0x2e0
[пн лип  2 15:56:52 2018]  [<ffffffff811edf55>] path_lookupat+0x165/0x7a0
[пн лип  2 15:56:52 2018]  [<ffffffff81171f66>] ? free_hot_cold_page_list+0x46/0xa0
[пн лип  2 15:56:52 2018]  [<ffffffff811c1425>] ? kmem_cache_alloc+0x35/0x1d0
[пн лип  2 15:56:52 2018]  [<ffffffff811ef25f>] ? getname_flags+0x4f/0x1a0
[пн лип  2 15:56:52 2018]  [<ffffffff811ee5bb>] filename_lookup+0x2b/0xc0
[пн лип  2 15:56:52 2018]  [<ffffffff811f0387>] user_path_at_empty+0x67/0xc0
[пн лип  2 15:56:52 2018]  [<ffffffff811012c2>] ? from_kgid_munged+0x12/0x20
[пн лип  2 15:56:52 2018]  [<ffffffff811e413f>] ? cp_new_stat+0x14f/0x180
[пн лип  2 15:56:52 2018]  [<ffffffff811f03f1>] user_path_at+0x11/0x20
[пн лип  2 15:56:52 2018]  [<ffffffff811e3c33>] vfs_fstatat+0x63/0xc0
[пн лип  2 15:56:52 2018]  [<ffffffff811e419e>] SYSC_newstat+0x2e/0x60
[пн лип  2 15:56:52 2018]  [<ffffffff8110bbf6>] ? __audit_syscall_exit+0x1e6/0x280
[пн лип  2 15:56:52 2018]  [<ffffffff811e447e>] SyS_newstat+0xe/0x10
[пн лип  2 15:56:52 2018]  [<ffffffff81646889>] system_call_fastpath+0x16/0x1b

Дело в точ то когда запуска du -d 1 -h / тоже подвисает.

ibahob
() автор топика

На сервере, который твою виртуалку обслуживает, может диск помирает, а контроллер его никак не отстрелит, потому что считает, что поживёт еще.

Как вариант.

Radjah ★★★★★
()
Ответ на: комментарий от ibahob

Сделай «cat /proc/mounts» - она не зависнет.
Получишь список файловых систем. Потом по одной натравливай на них df, смотри, какая из них зависает.
В певую очередь ищи примонтированные cifs или nfs шары, обычно они источник таких проблем.
Судя по выхлопу, у тебя там что-то примонтировано через autofs.

bigbit ★★★★★
()
Ответ на: комментарий от bigbit

нашел почему именно LA такой высокий запустил ps axo stat,command | grep ^D | nl

 ps axo stat,command | grep ^D | nl
     1  D    df -h
     2  D    du -h -d 1 /
     3  D    df -h
     4  D    df -h
     5  D    df
     6  D    du -h
     7  D    du -s bin boot dev etc home lib lib64 lost+found media mnt MSCharity.log opt pm2FrontDevOptions.json proc root run sbin srv startDev.sh sys tmp usr var www
     8  D    df -i

Получилось 8 процессов в состоянии D uninterruptible sleep (usually IO) Вот и LA соответствует 8

Вопрос куда дальше копать, писать в тех потдержку хостинга VPS, и что от них просить?

ibahob
() автор топика
Ответ на: комментарий от ibahob

Что IO в виртуалке тормозит безбожно. Что банальный поиск по локальной ФС вешается в D state. У тебя с локальной ФС такие тёрки, а не с NFS over VPN, да?

Radjah ★★★★★
()
Ответ на: комментарий от Radjah

Как было показано выше, на VPS я вижу свои диски как /dev/xvda. Как я понял это Xen Virtual block Device А как оно у хостера я не знаю.

ibahob
() автор топика
Ответ на: комментарий от ibahob

А как оно у хостера я не знаю.

Тебя это вообще волновать не должно. Твоё дела пожаловаться в саппорт, а там они уже сами найдут.

Radjah ★★★★★
()
Ответ на: комментарий от ibahob

Что значит «куда копать»? Я же тебе выше написал конкретные шаги, как идентифицировать файловую систему, которая приводит к проблемам.

bigbit ★★★★★
()
Ответ на: комментарий от bigbit

Написал в техпотдержку, скинул скрины, ответ что у них все хорошо проверяйте файловую систему

ibahob
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.