Централизованное хранение и управление логами

rsyslog для сислогов. для apache был модуль какой-то для сбора логов с разных хостов. заставлять apache писать в сислог, по-моему, не вариант.

херачить сырые логи с мускул - тоже бредятина и ни к чему. надо какой-нить агрегатор, и уже его результаты пихать в мускул^Wпостгрес!

http://xgu.ru/wiki/syslog-ng

да, и «анализатор трафика» по логам - это как лечение сглаза по фотографии, есличо ;)

Почему же) Вполне можно получить более мение поддающийся анализу результат. Допустим, в сумме видим 50-ть обращений в минуту с однойго айпи. В бан этот айпи. Логично. Имея прошлые логи - вполне возможно получить, что этот айпи-пи раз в неделю открывает 20-30-ть коннектов и все. Тут уже про флуд пакетами например, можно забыть.. Наиболее примитивный способ описал, как пример. А список по, приведенное, восновном для введение в курс вопроса. Хотелось бы видеть не отдельные модули, а именно один скрипт, демон, кто угодно), который можно научить понимать логи ( грубо говоря, как парсинг обычной csv) Не ожидал такой быстрой активности)

но это ни разу не анализатор трафика! это анализатор логов. велосипеды можно не изобретать. есть fail2ban.

Видно не так выразился. На основании логов делать аналитику трафика. Сейчас посмотрим ссылочку. Спасибо.

Да, спасибо. Интересный продукт. Но у него все же немного другой подход, хотя использовать точно стоит. Думал данным вопросом решить несколько проблем - простой доступ к логам, сортировка, анализ, выдачу конечным пользователям. Т.е. Гуи для этого написать пользовательское будет не проблема, админское мб, на изменение некоторых конфигов, например, включаем на пол часа вывод ошибок по недостающим файлам, после чего, он опять меняет значение на вывод только фаталов в логах. Но для реализации всего этого как раз и требуется централизованное хранение. Лазить по ссх по каждому серваку и смотреть на это - не интересно. Очень много ресурсов человчиских можно освободить. Я посмотрю ссылки, которые скинули, изучу документацию. Если есть еще у кого варианты - с удовольствием так-же прогуглю. Спасибо.

ну, смотри: rsyslog или syslog-ng настраиваешь на передачу логов по tcp или udp вот ты их и собрал на одном компе. в чем проблема-то? надо банить на каждом из компов? поставил на каждый fail2ban и готово.

не мешай все задачи в одну. ничего хорошего не выйдет с большой вероятностью ;)

Благодарю) Сейчас пытаюсь подружиться с fail2ban, настройки вроде все простые, юзабили отличное) Вот еррорит при старте, жаль.

Restarting authentication failure monitor: fail2banTraceback (most recent call last): File «/usr/bin/fail2ban-client», line 401, in <module> if client.start(sys.argv): File «/usr/bin/fail2ban-client», line 370, in start return self.__processCommand(args) File «/usr/bin/fail2ban-client», line 180, in __processCommand ret = self.__readConfig() File «/usr/bin/fail2ban-client», line 374, in __readConfig self.__configurator.readAll() File «/usr/share/fail2ban/client/configurator.py», line 58, in readAll self.__jails.read() File «/usr/share/fail2ban/client/jailsreader.py», line 41, in read ConfigReader.read(self, «jail») File «/usr/share/fail2ban/client/configreader.py», line 59, in read SafeConfigParserWithIncludes.read(self, [bConf, bLocal]) File «/usr/share/fail2ban/client/configparserinc.py», line 105, in read fileNamesFull += SafeConfigParserWithIncludes.getIncludes(filename) File «/usr/share/fail2ban/client/configparserinc.py», line 76, in getIncludes parser.read(resource) File «/usr/lib/python2.6/ConfigParser.py», line 286, in read self._read(fp, filename) File «/usr/lib/python2.6/ConfigParser.py», line 510, in _read raise e ConfigParser.ParsingError: File contains parsing errors: /etc/fail2ban/jail.conf [line 86]: 'in /etc/fail2ban/jail.local.\n' failed!

Так, к слову. Разобраться разберусь, пока еще в файлах не копался

Решил вопрос отключение jail.local и прописал в основной конфиг новые правила. Если есть варианты - как сделать, чтобы работал - буду рад.

Сейчас правила смотрю для апача, думаю про то, как написать. Есть айпи, который в течении минуты каждую секунду отправляет с 50-ток запросов на скачку ( Представим, как телепортПро)

Не нашел правил в нем, описывающих временных интервалов. Как я понял, такого фильтра для данного по не написать.

Интересная тема однако, хочется свой ляп внести. Может еще чуток вперед подумать и с Zabbix'ом покрутить. Для семи тачек особо вкусно будет. Умеет логи курить да и блин, очень он гибкий с эктив чеками.

да, и «анализатор трафика» по логам - это как лечение сглаза по фотографии, есличо ;)

Очень даже верно. Вопрос с количеством отстуков это как «2мб это много или мало?!»
Расскажете потом как вышло все, спс!

Ещё auth.log неплохо было бы собирать, в append-only режиме.

7-ь

50-ть

20-30-ть

с 50-ток

и как это надо читать?

Я как-то больше люблю nagios. С ним поинтереснее)

Ну фламастеры разные на вкус=)