Помогите проанализировать лог

Беглый взгляд говорит, что кончается память.

ага, в базе я так понимаю, есть какое решение по быстрому? 1. Настроить сервер, допустим памяти больше выделить 2. Снести сайт, который грузит сервер

Что эффективней? Параметры то сервера не маленькие в принципе.

CPU: Intel Atom D2700 2.13GHz 1Mb (2 ядра / 4 потоков) RAM: 4 GB DDR3 HDD: 500 Gb Операционная система: CentOS 6

Апач видимо сжирает память, вот его настраивай. 4 гига это копейки для веб-сервера. Быстрое решение - можно попробовать keep-alive отключить - сэкономит память, но работать чуть медленее будет в некоторых случаях.

для 10 сайтов с общим трафиком в 2000 сутки, думаю не мало, спасибо за совет

Мне кажется, не всё так просто...

Скорее, у тебя фигово настроен не столько апач, сколько fail2ban: fail2ban сканирует логи апача, блочит всех подряд... но подвисшие сокеты остаются открытыми и соответствующие дочерние процессы апача не завершаются. В результате сжирают всю доступную память.

И ещё, у тебя какая-то фигня с SOA записью - BIND(named) ругаецца. Посмотри его логи.

Вот и выросло поколение одминов, не умеющее без помощи зала распознать портянку вывода OOM killer'a.

таки надо смотреть на базы?

Надо поймать того, кто писал сайт и оторовать ему руки. Всеравно они растут не из положенного места.

Для начала - «echo -15 > /proc/`head -1 /var/run/mysqld/mysqld.pid`/oom_adj» чтоб базу не било. Лучше сразу в скрипт запуска.

А потом включить в апаче server-status и смотреть, чем он так долго занимается. Дальше - выкинуть апач, поставить nginx+php-fpm, будет меньше памяти жрать.

Дальше - выкинуть апач, поставить nginx+php-fpm

Для начала - поставить nginx перед apache, пушо переписывать все реврайты из .htaccess в правила nginx - занятие не для слабых духом