关于filter层数据增强疑问

来源:12-9 filter 插件之geoip和ruby 讲解

民工来啦

2020-02-17

老师您好,目前有个日志内容增强的需求,希望可以通过logstash或者其他关联组件实现,希望老师能指点一下:原始日志有User字段(域账号),但没有相关的人员信息,需要在logstash-filter里面通过其他外部数据来实现关联,在日志写入es之前新增user对应的部门和公司字段信息,这类关联数据后的日志内容增强是否可以在数据清洗处理层实现呢

写回答

1回答

rockybean

2020-02-17

可以的,这类需求叫做 logstash enrich 操作,可以参见下面这篇文章。

https://www.elastic.co/cn/blog/elasticsearch-data-enrichment-with-logstash-a-few-security-examples

https://www.elastic.co/guide/en/logstash/current/lookup-enrichment.html

https://www.elastic.co/cn/blog/enriching-your-postal-addresses-with-the-elastic-stack-part-3

0
1
民工来啦
非常感谢!
2020-02-18
共1条回复

Elastic Stack从入门到实践,动手搭建数据分析系统

有了Elastic Stack,不用写一行代码,你也可以玩转大数据分析!

1361 学习 · 397 问题

查看课程