percona server FUTEX_WAKE_PRIVATE use 100% cpu

0

1

Обновил железо, поставил debian 8, percona server 5.5.44-37.3-log
Перенеос базу. Потом заметил, что mysql использует очень много CPU.
https://poiuty.com/img/6f54ecfc007be28b5dcabe1c58e0.png (до и после)
my.cnf => https://dl.dropboxusercontent.com/u/59491914/config/percona.cnf

Открыл htop, посмотрел процессы mysql => некоторые постоянно 100%.
https://poiuty.com/img/b67f65ff1666b7175165acd04f57.png

Далее сделал strace такого процесса.

futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
sched_yield()                           = 0
futex(0x7f59ec77eac4, FUTEX_WAIT_PRIVATE, 3615, NULL) = 0
futex(0x7f59ec77ea80, FUTEX_WAKE_PRIVATE, 1) = 0
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136070) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136078) = 2
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136092) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
sched_yield()                           = 0
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136104) = 2
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
sched_yield()                           = 0
futex(0x7f59ec77ea44, FUTEX_WAIT_PRIVATE, 136107, NULL) = 0
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 0
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136112) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136118) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136120) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77eac4, FUTEX_WAIT_PRIVATE, 3621, NULL) = 0
futex(0x7f59ec77ea80, FUTEX_WAKE_PRIVATE, 1) = 0
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136126) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77eac4, FUTEX_WAIT_PRIVATE, 3623, NULL) = 0
futex(0x7f59ec77ea80, FUTEX_WAKE_PRIVATE, 1) = 0
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136132) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
futex(0x7f59ec77ea44, FUTEX_CMP_REQUEUE_PRIVATE, 1, 2147483647, 0x7f59ec77ea00, 136138) = 1
futex(0x7f59ec77ea00, FUTEX_WAKE_PRIVATE, 1) = 1
sched_yield()                           = 0

Полез в гугл, нашел
=> https://code.mixpanel.com/2012/12/07/debugging-mysql-performance-at-scale/ (не помогло)
=> http://www.sql.ru/forum/1078110/visnet-percona-xtradb-cluster (нет решения)

Далее отправил багрепорт https://bugs.launchpad.net/percona-server/ bug/1489454
Вечером планирую потестить => mariadb 5.5, mariadb 10, обычный mysql 5.5, percona 5.6

На данный момент количество таких процессов выросло.
https://poiuty.com/img/8667e94d81c8aca1a43800825854.png
Если вырубить nginx и подождать пока к mysql не будет идти запросы -> нагрузка сохраняется.

Возможно кто-то сталкивался с этим? Буду рад советам. Спасибо.

Ссылка

Еще проблемы с sdb => отказался от сервера.

Aug 27 18:59:13 master kernel: [114018.239172] ata2.00: exception Emask 0x10 SAct 0x40000 SErr 0x280100 action 0x6 frozen
Aug 27 18:59:13 master kernel: [114018.239232] ata2.00: irq_stat 0x08000000, interface fatal error
Aug 27 18:59:13 master kernel: [114018.239273] ata2: SError: { UnrecovData 10B8B BadCRC }
Aug 27 18:59:13 master kernel: [114018.239307] ata2.00: failed command: READ FPDMA QUEUED
Aug 27 18:59:13 master kernel: [114018.239342] ata2.00: cmd 60/20:90:40:60:69/00:00:06:00:00/40 tag 18 ncq 16384 in
Aug 27 18:59:13 master kernel: [114018.239342]          res 40/00:90:40:60:69/00:00:06:00:00/40 Emask 0x10 (ATA bus error)
Aug 27 18:59:13 master kernel: [114018.239458] ata2.00: status: { DRDY }
Aug 27 18:59:13 master kernel: [114018.239489] ata2: hard resetting link
Aug 27 18:59:13 master kernel: [114018.558877] ata2: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
Aug 27 18:59:13 master kernel: [114018.559807] ata2.00: configured for UDMA/133
Aug 27 18:59:13 master kernel: [114018.559854] ata2: EH complete

Взял новый сервер (такой же конфиг) => поставил mariadb 10 => перенес, пока никаких проблем.
Попозже закину в тему графики (для истории).

poiuty ★
(28.08.15 00:39:30 MSK) автор топика
Последнее исправление: poiuty 28.08.15 00:40:02 MSK (всего исправлений: 1)

Ответ на: комментарий от poiuty 28.08.15 00:39:30 MSK

https://poiuty.com/img/463b69dd1ca5a04bfb0a8c5ccd96.png => до и после.

poiuty ★
(28.08.15 13:46:57 MSK) автор топика

Похожие темы