日志消费堆积,查看日志报Timeout executing grok
来源：6-7 -文档分布式存储
慕粉8429964
2023-08-24
公司用的日志收集,最近时不时有堆积情况,过几个小时又会恢复,es集群,分片检查了都正常,最后发现logstash和kafka一直在刷Timeout executing grok,
因为现在项目越来越多,可能个别日志,原有的grok正则匹配不了了,我想问下老师,能不能加个条件,就比如以上规则都匹配不成功的话,就将其跳过,这个功能可以实现吗,应该怎么实现呢.
写回答
2回答
-
rockybean
2023-09-03
这里有一篇比较早的 grok 文章，可以借鉴下，条件的多的时候要尽早识别不匹配的情况
https://www.elastic.co/blog/do-you-grok-grok另外就是如果这个匹配解析可以在 client 提前做，就尽量提前，比如在 filebeat 端做掉，这样就节省logstash 的时间了
00 -
慕粉8429964
提问者
2023-08-24
又了解了.我们正则匹配条件很多,第一个不匹配超时进入下一个.然后继续匹配,直到匹配成功,这样日志量大的时候就会堵塞,老师有没有什么优化建议,不加节点的情况
00
相似问题