LINUX.ORG.RU

OpenDistro и индексы

 ,


0

1

Всем привет! Подскажите может чего делаю не так решил перейти на ELK Только от Амазона OpenDistro, Для теста взял mikrotik и создал два шаблона(что бы не плодить кучу шардов,+ в тесте реплики не нужны) для двух индексов syslog & netflow создал два файлика с конфигами mikrotik.conf

input {
    udp {
        type => "syslog"
        port => 5045
        }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{IPV4:client}"}
      add_tag => [ "contains_ip" ]
    }
    }
}

output {
  elasticsearch {
    hosts => ["https://localhost:9200"]
    user => l..
    password => l..
    ssl_certificate_verification => false
    index => "mikrotik-%{+YYY.MM.dd}"
    }
}

netflow.conf

input {
     udp {
       port => 9996
       type => "netflow9"
       codec => netflow {
         versions => [9]
       }
     }
}

output {
 if [type] == "netflow9" {
  elasticsearch {
    hosts => ["https://localhost:9200"]
    user => l..
    password => l..
    ssl_certificate_verification => false
    index => "netflow-%{+YYY.MM.dd}"
    }
  }
}

как только подключил netflow данные от потока начали поступать не только в индекс netflow, но и в индекс mikrotik т.е. в индексе микротик появились дополнительные поля от netflow, такая же фигня была и с nginx. Может я что то делаю не так, ведь так не должно же быть, разные индексы со своими полями. Подскажите где может быть ошибка. Спасибо.



Последнее исправление: taku (всего исправлений: 1)

У тебя output в индекс microtik принимает всё подряд. Отфильтруй его так же, как отфильтровал netflow: через if [type].

GOMO88
()
Ответ на: комментарий от GOMO88

Спасибо! все заработало. может подскажешь еще плагин grok, учусь собирать и парсить метрики для этого в фильтрах делаю такие правила

match => [ "message" => "system,error,critical login failure for user %{WORD:user} from %{IP:src_ip} via %{WORD:src_type}]" 
add_tag => "login failure"
что бы потом построить дашборды,

но logstash не стартует ругается, может я не правильно делаю и так нельзя ?

taku
() автор топика
Ответ на: комментарий от GOMO88

filebeat на клиентских машинах удобен, но мне например надо распарсить логи GC, и куча других логов JVM машин, а они передаются в поле сообщение и если их не распарсить, то и метрики не вытащить. я еще буду на клиентских машинах ограничивать трафик через tc, вот задумался, что будет если приложение в апп сервере в JVM вызовет ошибку и сервер будет слать вместо обычного, кучу дополнительного лога, а т.к. скорость ограничена и буфер тоже, то что будет с логом который не попадет на сервер, по идеи он попадет на сервер позже когда ситуация нормализуется или все же лог будет потерян ?

taku
() автор топика

Привет! Подскажи, пожалуйста, какие права ты выдал учетке логстеш. В логах пишет 403 ошибку..no permissions for [indices:admin/create]. Вроде добавил в роль логстеш, но эффекта никакого

aleks02
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.