filter data enrich问题

来源：12-1 input插件详解及glob讲解

民工来啦

2020-05-16

老师您好，目前遇到了日志数据增强的问题，主要有两个问题：
1.据了解可以通过es filter、translate filter、http filter等等来丰富字段，测试发现如果我更新了数据源比如es中用于enrich的关联index，translate 字典内容/csv文件，会导致Logstash配置文件停止，如何处理这种情况，一般关联数据源index或csv半天或者一天更新一次，是指定了_id的静态数据；
2.比如ad日志中有域账号字段，需要关联用户中心的一份静态数据，关联部门、公司等字段，通过elasticsearch filter来实现还是translate filter 本地csv来实现更好，人员数据量大概5万条左右，如果使用es filter来做，是否要单独把这台es脱离日志集群，做单设置成数据关联专用es；
求老师指导一二，非常感谢。

写回答

1回答

rockybean

2020-05-17

你说的 logstash 配置文件停止是指什么？es filter 中更新 es 的源应该不会影响 logstash 运行状态的。translate 更新，应该要 reload 一下才能生效
这个我建议用 es filter 来做，维护起来方便。5 万条数据不多，直接放现有日志集群就可以了。如果有安全问题，就做好权限管理。

另外 logstash 也有 mysql 的 filter，可以直接查数据库

民工来啦

感谢老师答疑。之前有测试过更新geoip的.mmdb数据库文件发现logstash正在运行的进程直接报error退出，所以我觉得es filter更新es源可能也有类似问题出现。我的理解是logstash会把数据缓存到内存中做关联吧，如果我更新了数据源，Logstash可能不会自动识别新的数据的变更；另外translate更新是需要手动reload一下吗，配合脚本可以实现自动化吗

2020-05-18

共1条回复

Elastic Stack从入门到实践，动手搭建数据分析系统

有了Elastic Stack，不用写一行代码，你也可以玩转大数据分析！

1361 学习 · 397 问题

查看课程

相似问题

filter访问redis可以采用队列的方式监听变化吗？对性能是否由影响

回答 2

关于filter层数据增强疑问

回答 1

filebeat吐文件到logstash乱码问题

回答 2

es7版本的问题

回答 2

logstash json filter嵌套解析问题

回答 1

打开慕课网App查看更多内容