LINUX.ORG.RU
Форум — Admin  

CentOs 5. мониторинг оперативной памяти


0

1

Сервер под управлением CentOs5. 24Gb RAM
Железка наша.

Апач + Mysql + memcache + qmail

В течении двух недель никаких аномалий.
то есть память распределяется корректно(занятое сервисами + buffers и Cache), buffers и Cache около 10Gb.

Вдруг, что то происходит и начинают крашиться приложения от нехватки памяти.
buffers chache становятся равны почти нулю - около 1Mb на каждый.

Остановка всех доступных сервисов не возвращает память в прежнее состояние. То есть согласно top память выделенная сервисам + buffers + cache не равна 24GB а кудато исчезает 10 - 15GB


Помогает только полная перегрузка сервера.

Подскажите пожалуйста инструменты или порядок действий которые бы помогли найти причину.

Ситуация повторяется с интервалом где то в две недели. При этом в течении этих двух недель никаих аномалий в работе нет. Память распределена в приблизительно равных пропорциях.





← автоматизация инсталляции RHES
шлюз в другой подсети →

Никаких нестандартных драйверов не установлено?

Можно попробовать поставить atop и посмотреть что творилось непосредственно перед возникновением проблемы. Но если память утекает в ядре, то это вряд ли поможет.

В dmesg и других логах ничего интересного нет?

Deleted
()

Посмотри в логах за этот день.

dada ★★★★★
()
Ответ на: комментарий от Deleted

atop и посмотреть что творилось непосредственно перед возникновением проблемы. Но если память утекает в ядре, то это вряд ли поможет.

К сожалению я не могу поймать проблему в момент ее возникновения. atop показывает тоже самое что и top или htop за исключением параметра slab который я не понимаю

он в эти моменты равнялся где то 8 - 9 Gb

в /var/log/messages никаких аномалий. dmesg так же.

Единственно что в это же время (сервер связан по nfs с другим сервером) в логах появляется nfs server not responding still trying

Demimurych
() автор топика
Ответ на: комментарий от Demimurych

К сожалению я не могу поймать проблему в момент ее возникновения. atop показывает тоже самое что и top или htop за исключением параметра slab который я не понимаю

atop может запускаться как демон и писать все данные в лог. А потом можно просмотрщиком «перематывать» показания назад-вперёд. Возможно перед возникновением проблемы какая-то программа из юзерспейса делает что-то странное, и atop может помочь её поймать.

Deleted
()
Ответ на: комментарий от Demimurych

у нас CentOs 5.7 со всеми обновлениями

если кто-то обнаружил такую же проблему в версии 5.5, то это не значит, что у вас на 5.7 ее быть не должно

anonymous
()

Подскажите пожалуйста инструменты или порядок действий которые бы помогли найти причину.


ставим atop
после проявления затыка смотрим историю за нужный период (atop -r /var/log/atop.log.* -b **:** -e **:**)

frozen_twilight ★★
()

Centos такой centos. В нем все течет. Смотри в сторону драйверов, а лучше другого дистрибутива.

tazhate ★★★★★
()

Все выяснилось

Все выяснилось
htop показывал аномальной большой slab
воспользовавшись утилитой slabtop я увидел что это память отведена под nfs_inode_cache

Остановив nfs сервер и отмонтировав все внешние nfs диски память не вернулась.

Просмотрев список процессов я увидел висящий уже несколько часов процесс statistics

Это процесс запускает plesk для подсчета своей статистики.

Пристрелив этот процесс вся память вернулась. При этом - ни top ни htop ни atop не показывал что этот процесс отьедает эту память.

Причина возникновения в следующем - процесс statistic кроме всего прочего пытался подсчитывать обьем дискового пространства занимаемого сайтами. В корне одного из сайтов была примонтирована nfs файловая система с 8 терабайтами данных. Именно на попытке посчитать место для этого сайта и происходила проблема - сжиралась вся доступная память и процесс statistics зависал.

Demimurych
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← автоматизация инсталляции RHES
Admin
шлюз в другой подсети →