doc里面要如何删除不需要的TYPE字段, 如何以天来建造INDEX且按照天来自动删除

来源:12-8 filter插件之 json讲解

幕布斯4113933

2020-09-10

使用logstash传送JSON过去
无使用任何的FILTER,之前测试的字段想要删除
使用DEV TOOLS无法给删除,而且logstash打入的数据
只能进到default的logstash* Index里面,网上查了好多方法都没有解

还有想要把INDEX,按照天来分开
情境是想要能够自动删除60天年的LOG资料
目前使用logstash,只传送json格式而已,请问有哪些关键字可以引导呢

写回答

1回答

rockybean

2020-09-10

1.logstash output elasticsearch 插件在输出时,可以自己指定索引名
 output {
     elasticsearch {
       index => "custom_index_name-%{+YYYY.MM.dd}"
     }
   }

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

2.自动删除的话,可以结合 ILM 来实现,参考下面的 policy


PUT /_ilm/policy/nginx_ilm_policy

{

  "policy": {

    "phases": {

      "hot": {

        "actions": {

        }

      },

      "delete": {

        "min_age": "60d",

        "actions": {

          "delete": {}

        }

      }

    }

  }

}

ILM 可以参考如下视频:

https://www.bilibili.com/video/BV1yb411J7to?from=search&seid=6171020638733200362


3.字段一旦生成了没法删除,只能建立新的索引才行


0
12
幕布斯4113933
非常感谢!
2020-09-21
共12条回复

Elastic Stack从入门到实践,动手搭建数据分析系统

有了Elastic Stack,不用写一行代码,你也可以玩转大数据分析!

1328 学习 · 393 问题

查看课程