Поисковы роботы? грузят сервер

Занято чем?

apache+nginx+mysql

Сейчас вижу, что роботы всё ещё сканируют, но нагрузка на сервер упала с 19Гб до 4Гб.

man robots.txt

Ну вообще-то нужен был один сервис, который кушает память. Но вангую, что это apache, и что там mpm_prefok и что MaxRequestWorkers выставлен конский.

апач ел.

/etc/apache2/mods-enabled/mpm_prefork.conf

Задаешь вопросы, на которые ответить можешь только ты. Глянь лог запросов, да протестируй их сам через ab, к примеру. Найдешь проблемный url - дальше уже анализируй код скрипта

Опыта у меня немного, поэтому задаю такие вопросы. Что такое ab?

чтобы посмотреть, используется ли mpm_prefork
apachectl -t -D DUMP_MODULES
чтобы найти его настройки
grep -R mpm_prefork /etc/apache2

На сервере из 24Гб ОЗУ занято 19Гб.

free -m в студию
http://www.linuxatemyram.com/

И сколько rpm делал мейлсрушный робот?

Не используется. Но пишется, что установлен. Как быть?

Уже так:

# free -m
             total       used       free     shared    buffers     cached
Mem:         24165      10891      13273          0        831       4838
-/+ buffers/cache:       5221      18943
Swap:        16380       1704      14676

Этого я не понял. Что такое rpm? Кроме очевидного.

18943 свободно. В чем проблема и почему ты так жалеешь память?

Это сейчас свободно, а тогда было свободно 5Гб. Во вторых достучаться до сайтов было невозможно, а по ssh с трудом.

Что такое rpm?

Количество запросов в минуту (requests per minute). Одна из метрик для оценки нагрузки.

Во вторых достучаться до сайтов было невозможно, а по ssh с трудом.

Ну неплохо было бы какие то графики показать, или привести цифры дисковой нагрузки, cpu и тд, а не просто «занято 19Гб.».
Еще было бы хорошо услышать что там за сайты крутятся.

Во время того, как сервер лагал было столько:

cat /var/log/nginx/access.log | grep "14:30" | wc -l
399

cat /var/log/nginx/access.log | grep "16:03" | wc -l
163

cpu было занято как обычно. Сайты на ворпресс, джумле и самописных движках.

А какой mpm используется?

Судя по всему никакой.

# apachectl -t -D DUMP_MODULES
 http_module (static)
 so_module (static)
 actions_module (shared)
 alias_module (shared)
 auth_basic_module (shared)
 authn_file_module (shared)
 authz_default_module (shared)
 authz_groupfile_module (shared)
 authz_host_module (shared)
 authz_user_module (shared)
 autoindex_module (shared)
 cgi_module (shared)
 deflate_module (shared)
 dir_module (shared)
 env_module (shared)
 fcgid_module (shared)
 include_module (shared)
 mime_module (shared)
 negotiation_module (shared)
 php5_module (shared)
 reqtimeout_module (shared)
 rewrite_module (shared)
 rpaf_module (shared)
 setenvif_module (shared)
 status_module (shared)
 suexec_module (shared)
 vhost_alias_module (shared)
 ispmgr_module (shared)
Syntax OK

Кешер опкода какой нибудь стоит? Если нет, то ставь. Я юзаю xcache 3.
Кеширование на стороне cms тоже не помешает.

И это точно мейл.ру бот? Сайты на популярных CMS очень часто брутят. В логах ничего подозрительного нет?

Сайты на популярных CMS очень часто брутят.

Такое есть, я это сразу замечаю и применяю меры. Кэш есть.

Странно, а что выдает apachectl -V

Так и есть: ab Apache benchmark

Хм... Вроде как есть, но никаких конфигов не вижу...

#  apachectl -V
Server version: Apache/2.2.22 (Debian)
Server built:   Feb  1 2014 21:26:04
Server's Module Magic Number: 20051115:30
Server loaded:  APR 1.4.6, APR-Util 1.4.1
Compiled using: APR 1.4.6, APR-Util 1.4.1
Architecture:   64-bit
Server MPM:     Prefork
  threaded:     no
    forked:     yes (variable process count)
Server compiled with....
 -D APACHE_MPM_DIR="server/mpm/prefork"
 -D APR_HAS_SENDFILE
 -D APR_HAS_MMAP
 -D APR_HAVE_IPV6 (IPv4-mapped addresses enabled)
 -D APR_USE_SYSVSEM_SERIALIZE
 -D APR_USE_PTHREAD_SERIALIZE
 -D APR_HAS_OTHER_CHILD
 -D AP_HAVE_RELIABLE_PIPED_LOGS
 -D DYNAMIC_MODULE_LIMIT=128
 -D HTTPD_ROOT="/etc/apache2"
 -D SUEXEC_BIN="/usr/lib/apache2/suexec"
 -D DEFAULT_PIDLOG="/var/run/apache2.pid"
 -D DEFAULT_SCOREBOARD="logs/apache_runtime_status"
 -D DEFAULT_LOCKFILE="/var/run/apache2/accept.lock"
 -D DEFAULT_ERRORLOG="logs/error_log"
 -D AP_TYPES_CONFIG_FILE="mime.types"
 -D SERVER_CONFIG_FILE="apache2.conf"

Даже если в конфиге нет значения, используется значение по умолчанию. Нужно его создать или скопировать с другого дебиана и указать MaxRequestWorkers. Эта настройка ограничивает число процессов апача, предотвращая занимание всей памяти. Запросы сверх лимита будут ставиться в очередь.

Нужно его создать или скопировать с другого дебиана и указать MaxRequestWorkers.

Есть другой дебиан, на нём всё точно также.

Ну или проблема не в большом количестве процессов апача, а в том, что какой-то один скрипт сожрал пару десятков гиг памяти.

Нет, проблема в большом количестве процессов апача. Я имел ввиду, что на другом сервере тоже дебиан и апач по умолчанию и там mpm_prefork тоже установлен, но его настроек нет.

Я правильно понял, что достаточно просто добавить в apache.conf строчку MaxRequestWorkers с каким-то значением.

Скачал отсюда пакет https://packages.debian.org/wheezy/apache2.2-common открыл в архиваторе, в apache2.conf нужные опции есть.

Скачал, посмотрел ничего нет про MaxRequestWorkers. ЧЯДНТ?

Только в 2.2 оно называется MaxClients

Спасибо. Нашёл. Значение по умолчанию 150. Так же как и в дефолтном конфиге.

Как расчитать оптимальное значение параметра?

но никаких конфигов не вижу.

Как так?

# ls -l /etc/apache2/
total 68
-rw-r--r-- 1 root root  7994 Feb  2 01:22 apache2.conf
drwxr-xr-x 2 root root  4096 May 23 04:30 conf.d
-rw-r--r-- 1 root root  1169 Feb  2 01:22 envvars
-rw-r--r-- 1 root root     0 May 23 04:27 httpd.conf
-rw-r--r-- 1 root root 31063 Feb  2 01:22 magic
drwxr-xr-x 2 root root  4096 May 23 09:40 mods-available
drwxr-xr-x 2 root root  4096 May 23 09:40 mods-enabled
-rw-r--r-- 1 root root   750 Feb  2 01:22 ports.conf
drwxr-xr-x 2 root root  4096 Jun 12 15:28 sites-available
drwxr-xr-x 2 root root  4096 May 23 04:27 sites-enabled

# ls -l /etc/apache2/conf.d/
total 16
-rw-r--r-- 1 root root  269 Feb  2 01:22 charset
lrwxrwxrwx 1 root root   45 May 23 04:29 javascript-common.conf -> /etc/javascript-common/javascript-common.conf
-rw-r--r-- 1 root root 3296 Feb  2 01:22 localized-error-pages
-rw-r--r-- 1 root root  143 Feb  2 01:22 other-vhosts-access-log
lrwxrwxrwx 1 root root   28 May 23 04:30 phpmyadmin.conf -> ../../phpmyadmin/apache.conf
-rw-r--r-- 1 root root 1424 Feb  2 01:22 security

Естественно я имел ввиду конфигов, относящихся к mpm_prefork.

Я обычно ставлю около 10*количество ядер. Посмотри размер одного процесса апача, и расчитай исходя из того, сколько памяти не жалко под него (обычно имеет смысл больше памяти давать мускулу). Еще должно быть достаточно памяти на кеш ФС.

Как расчитать оптимальное значение параметра?

Я чутка погуглил, говорят - методом тыка

Понял, спасибо.

Если ставить слишком много выжырается память, слишком мало - могут не загружаться все ядра процессора.

У него видимо php как модуль апача работает.

Ну да, это как раз для этого случая

Понятно. Получается, сайт не рассчитан даже на такую маленькую нагрузку? Если нет, и оптимизация не планируется, то единственный вариант резать особо агрессивных роботов на уровне нгикса или даже фаервола.

Оптимизация планируется. Как раз хочу этим заняться.

то единственный вариант резать особо агрессивных роботов на уровне нгикса или даже фаервола.

«Отличная идея» - резать SE ботов :)

тесты уже приводили - апач неадекватно жрет память на высоких нагрузках
пора бы уже полностью перейти на nginx

а mail.ru в бан - он ненужен.