Всем привет!
Есть filebeat, который пишет в data stream «filebeat-8.2.0». В него попадает много сообщений. Индекс на основе этого стрима живет недолго - 1 неделю.
Хотелось бы разделить индекс: важное хранить в отдельном индексе с циклом 1 месяц, для чего фильтровать входной поток.
Я сделал реиндекс, в нем есть фильтр, все работает. Но он не совсем подходит: в новый индекс не попадают документы, которые были записаны после это операции.
А хотелось бы постоянно «подгружать» новые документы. Как это сделать?
Пример реиндекса:
POST _reindex
{
"source": {
"index": "filebeat-8.2.0",
"query": {
"bool": {
"must": [],
"filter": [
{
"bool": {
"should": [
{
"match_phrase": {
"message_json.context.event": "city-miss"
}
}
],
"minimum_should_match": 1
}
}
]
}
}
},
"dest": {
"index": "miss-cities-two"
}
}
