index_template写入数据错乱

来源：4-13 -索引模板.mp4

民工来啦

2019-03-26

老师你好，我在kibana中用dev tools创建了两个windows日志模板，index_patterns分别是ad-和dns-，order都为0，两个logstash的pipeline的output index也设置了对应的ad-%{+YYYY.MM.dd}和dns-%{+YYYY.MM.dd},但是在对应日志写入es后发现ad的index中存有dns的日志，由于两类日志清洗逻辑不一样，写入错乱会把索引中的字段搞的很乱，这个是什么原因导致的，请老师赐教，感谢。

写回答

2回答

rockybean

2019-03-28

你 ad.conf 和 dns.conf 是怎么加载的？有没有用 pipeline，不用的话，会乱掉的

rockybean

2019-03-28

你发一下你收集的配置文件，以及 pipeline 的主要配置信息。错乱一般都是 output 错导致的

民工来啦

补充下情况说明，ad和dns分别是两台服务器通过winlogbeat发送到同一台logstash的5044端口，logstash在清洗时，分别调用了ad.conf和dns.conf两个配置，我怀疑两类日志指向同一个数据接收端口有关。output方面我就直接elasticsearch { hosts => ["xxx.xxx.xxx.xxx:9200"] index => ad-%{+YYYY.MM.dd}},input方面对于传入数据没有做判断，input{ beats{port => 5044} },我觉得这样配置可能是有问题的

2019-03-28

共1条回复

Elastic Stack从入门到实践，动手搭建数据分析系统

有了Elastic Stack，不用写一行代码，你也可以玩转大数据分析！

1361 学习 · 397 问题

查看课程

相似问题

logstash向es写数据异常

回答 1

导入csv数据不完整

回答 3

老师，ES写数据，segment写入磁盘与translog写入磁盘问题？

回答 2

ES写入和更新

回答 1

es无法导入数据问题

回答 1

打开慕课网App查看更多内容