LINUX.ORG.RU
Форум — Admin  

Мониторинг 15 тысяч хостов.

 


0

3

Есть ферма, на ней крутиться вируталка с icinga1 версии, на ней в общем висит 10 тысяч (хостов,сервисов) Справляется на ура. 

Hosts (active/passive)	
4866 / 387 / 0
Services (active/passive)	
6453 / 15 / 0
Host Execution Time (min/max/avg)	
0.01 / 30.01 / 4.612 s
Service Execution Time (min/max/avg)	
0.00 / 60.00 / 4.048 s
Host Latency (min/max/avg)	
0.00 / 608.41 / 590.168 s
Service Latency (min/max/avg)	
579.12 / 610.21 / 593.141
Есть «желание» руководства перейти на 2 версию icingaweb2, меня заверили, что 25 тысяч хостов вытянет на ура. Поставил, залил 15 тысяч хостов и: htop 
dstat --top-io --top-bio

    i/o process      |  block i/o process   
check_ups_i1345k   61B|mysqld        0   172k
check_ups_i1368k   81B|mysqld        0    20k
check_ups_i1368k   81B|jbd2/vda2-8   0    12k
icinga2    4795k   24k|icinga2       0    24k
icinga2    2472k   39k|mysqld        0    52k missed 2 ticks
icinga2     532k 5815B|mysqld        0   836k
icinga2    8804k   17k|                      
icinga2    1757k   13k|mysqld        0    48k
check_ups_i1368k   81B|jbd2/vda2-8   0  8192B
check_MUX.p2705k   29B|icinga2       0    12k
icinga2      11M   22k|icinga2       0   844k
mysqld      268k 3679k|mysqld        0  7208k
icinga2    2581B 2382k|icinga2       0  2384k
mysqld        0  8913k|mysqld        0    17M
icinga2    3685B 3784k|icinga2       0  3784k
icinga2      10M   19k|icinga2       0  3740k
icinga2    4716k   18k|icinga2       0  3880k
icinga2    3704k   22k|icinga2       0   824k
icinga2      12M   75k|icinga2       0    12k missed 2 ticks
icinga2    2647k   31k|jbd2/vda6-8   0    12k
icinga2    1868k   15k|                      
icinga2    7047k   32k|mysqld        0   836k
check_sm36. 311k  109B|mysqld        0    88k
check_ups_i1368k   82B|icinga2       0    24k
icinga2    2618k   41k|mysqld        0    12k missed 2 ticks
icinga2    5144k   25k|                      
icinga2    4908k   27k|                      
mysqld        0  3723k|mysqld       16k 7268k
icinga2    3340k   19k|mysqld        0    96k
icinga2    7015k   24k|icinga2       0    24k
icinga2    2184k   17k|icinga2       0  1244k
icinga2    5604k   40k|icinga2       0  3044k
icinga2    5917B 2927k|icinga2       0  2928k
mysqld      340k 3719k|mysqld        0  7248k
icinga2    2487k   38k|icinga2       0  1696k missed 2 ticks
icinga2    2622k   31k|icinga2       0  2124k
icinga2    5982k   53k|icinga2       0  2100k missed 3 ticks
icinga2    5933k   65k|icinga2       0  2904k missed 4 ticks
icinga2      12M   49k|icinga2       0  2812k missed 2 ticks
icinga2    9160k   43k|icinga2       0   404k
icinga2    3531k   16k|mysqld        0   712k
icinga2    4873k   23k|mysqld        0    68k
icinga2    4004k   22k|mysqld        0   140k
icinga2    2112k   12k|icinga2       0    12k
check_ups_i1368k   81B|mysqld        0    76k
icinga2    7395k   34k|mysqld        0    32k
icinga2    5106k   33k|mysqld        0    24k
icinga2    4000k   30k|mysqld        0   860k
icinga2    2627k   89k|mysqld        0    44k missed 2 ticks
----most-expensive---- ----most-expensive----
     i/o process      |  block i/o process   
icinga2    2575k   40k|mysqld        0    28k
icinga2    2826k   28k|icinga2       0    24k
icinga2    3346k 6376B|mysqld        0    56k
icinga2    3072k 8514B|mysqld       16k  288k
mysqld      198k 3671k|mysqld        0  7240k
check_ups_i1368k   82B|mysqld        0    24k
icinga2    1195k   36k|icinga2       0    12k
icinga2    2128k   24k|                      
icinga2    2684k   23k|icinga2       0  1056k
check_ups_i1345k   62B|icinga2       0  1188k
icinga2    1824k   15k|icinga2       0  1732k
icinga2    2668k   62k|icinga2       0  1648k
check_ups_i1368k   82B|mysqld       16k 1828k
mysqld        0  6547k|mysqld        0    13M
mysqld        0    12M|mysqld        0    23M
icinga2    3782k   31k|icinga2       0  2572k
icinga2    8471B 2477k|icinga2       0  2308k
icinga2    2106k   26k|icinga2       0  1608k
icinga2    6847k   24k|icinga2       0  1908k
icinga2     871B 1586k|icinga2       0  1588k
check_MUX.p2690k   95B|icinga2       0   280k
icinga2    6148k   25k|mysqld        0  7092k
icinga2    2947k 6487B|mysqld        0    80k missed 2 ticks
icinga2    1881k   18k|snmptable     0  4096B
icinga2    7757k   30k|mysqld        0  4096B
icinga2    3265k   17k|                       missed 2 ticks
icinga2    1884k   15k|                      
icinga2    6302k   18k|mysqld       80k  816k
icinga2    5410k   22k|mysqld       16k   52k missed 2 ticks
icinga2    3829k   16k|                      
icinga2    2656k   19k|mysqld        0  4096B
icinga2    2069k   22k|check_sm36.   0    12k
icinga2     966k   31k|mysqld        0   180k
icinga2    3643k   22k|mysqld      196k    0 
check_MUX.p2705k   29B|mysqld        0   660k
icinga2    7882k   24k|mysqld        0    10M
mysqld        0  4656k|mysqld        0  9324k missed 2 ticks
icinga2    7698k   77k|icinga2       0  1616k missed 2 ticks
icinga2    3092B 1758k|icinga2       0  1764k
icinga2    2168B 1581k|icinga2       0  1580k
icinga2      15k 3257k|icinga2       0  2800k missed 2 ticks
icinga2    7265k   15k|icinga2       0   780k
icinga2    4689k   16k|icinga2       0  1924k missed 2 ticks
icinga2    3932k   23k|icinga2       0  2128k
icinga2    2586B 2636k|icinga2       0  2636k
icinga2      16k 2835k|icinga2       0  2492k
icinga2    1927k 8603B|icinga2       0   116k
mysqld        0  9504k|mysqld        0    19M
icinga2    1044k   33k|icinga2       0    12k
icinga2    3481k   25k|mysqld        0   112k
icinga2    5399k   95k|mysqld        0    12k missed 2 ticks
----most-expensive---- ----most-expensive----

Перерыл гугл, не могу найти объяснения таким сильным тормозам(нагрузки) на виртуалку. Веб морда тоже тормозит, если на ней сидят 5 человек то вообще валится backend. Появляется куча «алармов» по ping'y типа «PING CRITICAL - Packet loss = 0%, RTA = 205.81 ms» хотя по факту всё в порядке. Пока грешу на mariadb думаю попробовать psql.

← Максимальное значение для inode в ext4
Подскажите как обновить tzdata на RHEL 3? →

Пока грешу на mariadb

Так а какие там настройки? Может там innodb по дефолту настроен(оптимален для систем с 128 мб памяти, ага) и он не жрёт нихрена и тормозит

Pinkbyte ★★★★★
()
Ответ на: комментарий от anonymous

«Может там innodb».прогуглил как настраивается innodb не обнаружил настроек в своей бд.

whitedevil
() автор топика
Ответ на: комментарий от whitedevil

то он вообще пуст

Глянь в /etc/my.cnf.d(или /etc/mysql/my.cnf.d), если их тоже нет - значит дефолт и надо настраивать

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

с mysql вроде разобрался, оптимизировал, но проблема осталась. Следующий подозреваемый сама icinga2. Почему эта «ТВАРЬ» грузит систему в край.

whitedevil
() автор топика

есть желание одних - переходить другой должен, первые заверили на основании чего неизвестно - другой будет расхлебывать... вам же платят зарплату, а те кто ее платит получают еще больше, вот у них и спросите куды рыть, они просто обязаны знать это...

amd_amd ★★★★★
()
Ответ на: комментарий от amd_amd

Проблема в том, что я «один» весь функционал «унаследован за 2 недели». Мне он достался только потому-что у меня на рабочем компе стоял CrunchBang. Спрашивать мне не у кого, только если гугл. Да и я предпочитаю Nagios)

whitedevil
() автор топика

icinga2 в базе данных не нуждается.

для начала поставь icinga2 со стандартным веб-интерфейсом, чтобы отделить мух от котлет.

И смотри сколько и какие метрики (performance) ты пишешь в базу.

futurama ★★★★★
()
Ответ на: комментарий от whitedevil

CrunchBang

#!++ что ли - прикольная вещица, единственное готовое решение которое мне понравилось...

amd_amd ★★★★★
()
Ответ на: комментарий от futurama

Если под мухами ты подразумеваешь icingaweb2 интерфейс, то, только из-за него и требуют переход на 2 версию. «Интерфейсик красивый, удобнее мониторить будет»

whitedevil
() автор топика
Ответ на: комментарий от whitedevil

Я перешел на icinga2 ради гибкости настроек, какого-то существенного преимущества в web2 я лично не ощущаю.

futurama ★★★★★
()
Ответ на: комментарий от futurama

Установлена только icinga2 icingawe2. закинуто 10 тысяч хостов, ночью проработал сервер спокойно, пока утром я не зашел на веб. сразу load avarge 50...меня это немного напрягает.

whitedevil
() автор топика
Ответ на: комментарий от whitedevil

вероятно у тебя высокий LA из-за io waiting

дисковая система нормально работает? погоняй тесты производительности диска

futurama ★★★★★
()
Ответ на: комментарий от futurama

с запущенной icinga and mysql 

[root@isrv02 ~]# sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 49.2129 s, 21.8 MB/s
[root@isrv02 ~]# dd if=tempfile of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 13.3132 s, 80.7 MB/s
[root@isrv02 ~]# /sbin/sysctl -w vm.drop_caches=3
vm.drop_caches = 3
[root@isrv02 ~]# dd if=tempfile of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 11.7206 s, 91.6 MB/s
service icinga2 stop && service mariadb stop 
[root@isrv02 ~]#  sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 7.21845 s, 149 MB/s
[root@isrv02 ~]# dd if=tempfile of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.998083 s, 1.1 GB/s
[root@isrv02 ~]#  sudo /sbin/sysctl -w vm.drop_caches=3
vm.drop_caches = 3
[root@isrv02 ~]#  dd if=tempfile of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 2.47 s, 435 MB/s

whitedevil
() автор топика
Ответ на: комментарий от futurama

hdparm -Tt /dev/vda 

/dev/vda:
 Timing cached reads:   3790 MB in  2.00 seconds = 1893.35 MB/sec
 Timing buffered disk reads: 1006 MB in  3.01 seconds = 334.13 MB/sec

whitedevil
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Максимальное значение для inode в ext4
Admin
Подскажите как обновить tzdata на RHEL 3? →