LINUX.ORG.RU

Rsyslog на Centos + Loganalyzer

 , ,


0

1

Доброго дня всем! Вообще, я администратор систем Windows в основном. Сейчас возникла необходимость и желание учить Linux. Решил заняться задачей сбора логов с домена Windows 2008, на сервере rsyslog. Установил и настроил по инструкции сервер CentOS7+rsyslog+mariadb+loganalyzer. Всё заработало и отображалось. Но через 10 дней примерно, loganalyzer перестал показывать логи и пишет вот такие ошибки:

No syslog records found и While reading the logstream, the php script timeout forced me to abort at this point.

If you want to avoid this, please increase the LogAnalyzer script timeout in your config.php. If the user system is installed, you can do that in Admin center.

На сколько я понимаю, проблема в том, что rsyslog записывает логи в кэш и не кидает ни куда на диск. По памяти вот такие данные: total used free shared buff/cache available Mem: 7,6G 350M 3,7G 8,8M 3,6G 7,0G Swap: 3,9G 0B 3,9G

по диску так: Файловая система Размер Использовано Дост Использовано% Cмонтировано в /dev/mapper/centos-root 50G 7,8G 43G 16% / devtmpfs 3,9G 0 3,9G 0% /dev tmpfs 3,9G 0 3,9G 0% /dev/shm tmpfs 3,9G 8,8M 3,9G 1% /run tmpfs 3,9G 0 3,9G 0% /sys/fs/cgroup /dev/sda1 1014M 182M 833M 18% /boot /dev/mapper/centos-home 345G 33M 345G 1% /home tmpfs 783M 0 783M 0% /run/user/0

Я только учусь админить Linux, и прошу помощи, что мне нужно и как настроить, что бы все работало! Если нужны какие то данные и настройки, пишите, всё предоставлю... Заранее спасибо!

и не кидает ни куда на диск.

В этой связке он и не должен писать на диск, он отдаёт логи в БД. Так что если желаете катить бочку на rsyslog, становитесь администратором СУБД, и смотрите, растёт ли число записей в базе.

А так ваш случай похож на этот — https://stackoverflow.com/questions/12461978/php-script-timeout-in-log-analyzer слишком много записей в базе и не хватает скорости для их обработки до таймаута.

mky ★★★★★
()
Ответ на: комментарий от mky

Всё верно, логи лежат получается в базу mysql. Тогда вопрос в том, как решать эту проблему? По ссылке Вашей уже до этого увеличивал число max_execution_time до 600. Не помогло. Получается при входе через web на loganalyzer, он все данные каждый раз запрашивается заново? И если логов будет не за 10 дней к примеру а за 3 месяца, то можно сутками ждать (увеличив ещё больше max_execution_time), пока он прогрузит их? Что посоветуете в таком случае? как хранить логи с сервера AD, за 3 месяца, и обрабатывать их когда нужно быстрее чем это делает loganalyzer?

TheCho3en
() автор топика
Ответ на: комментарий от TheCho3en

Попробуй что-нибудь более современное и ориентированное на хранение именно логов. Например, Elastic Stack. Базовая редакция бесплатна.

ElasticSearch (база для хранения) сам умеет разбирать записи для дальнейшего поиска по ним, жмёт их на диске и при необходимости может ротировать (удалять) старые записи. Если позже потребуется — есть поддержка кластеризации (для резервирования и/или масштабирования).

spijet ★★★
()
Ответ на: комментарий от spijet

Доброе утро! По Вашему совету поднял и настроил с дефолтными настройками Elastic Stack! Первое впечатление очень даже положительное, все работает не плохо! Вот теперь бы причесать эту систему ещё. И первый вопрос, как изменить место хранения логов? Пробовал по гайду изменить строку path.data: /var/lib/elasticsearch в файле /etc/elasticsearch/elasticsearch.yml но после изменения не запускается сервис elasticsearch.service systemctl status elasticsearch.service ● elasticsearch.service - Elasticsearch Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled; vendor preset: disabled) Active: failed (Result: exit-code) since Mon 2019-02-11 15:34:18 +06; 3min 33s ago Docs: http://www.elastic.co Process: 5188 ExecStart=/usr/share/elasticsearch/bin/elasticsearch -p ${PID_DIR}/elasticsearch.pid --quiet (code=exited, status=1/FAILURE) Main PID: 5188 (code=exited, status=1/FAILURE) Что делаю не так? Что нужно настроить, что бы сервис запустился с настройкой хранения логов в другой директории?

TheCho3en
() автор топика
Ответ на: комментарий от TheCho3en

С этим разобрался, просто удалил раздел /home, расширил раздел /root, и закоментировал строку в /etc/fstab Теперь буду тестировать систему! Разбираться с парсингом. Если есть у кого-нибудь хорошие обучающие ссылки по настройке парсинга логов с серверов Windows, поделитесь пожалуйста!

TheCho3en
() автор топика
Ответ на: комментарий от spijet

Вот появился вопрос: Есть ли возможность на web страницу kibana, сделать вход по логину и паролю? Что бы не просто открывалась ссылка localhost:5601 И для чего нужен nginx? Только для передачи логов на другой сервер? Как прокси для логов? Где можно почитать об nginx? ) Linux затягивает!))

TheCho3en
() автор топика
Ответ на: комментарий от TheCho3en

просто удалил раздел /home, расширил раздел /root, и закоментировал строку в /etc/fstab

тебя, случаем, не гришей зовут?

Anoxemian ★★★★★
()
Ответ на: комментарий от Anoxemian

Нет! Меня зовут Станислав!) Приятно познакомиться)

TheCho3en
() автор топика
Ответ на: комментарий от TheCho3en
  • Можно, несколькими разными способами;
  • Nginx нужен в качестве reverse proxy, чтоб не держать Kibana голым задом в интернет;
  • Почитать можно в разделе документации на официальном сайте Nginx, например.

Вообще, у ElasticStack есть очень подробная документация с описанием многих use-кейсов, прямо на их сайте.

spijet ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.