日志文件数量庞大，使用elk框架收集有没有可行性

来源：22-3 -实战（下）

天才小彩笔i

2018-08-07

我们公司生产日志比较特殊，每次请求完成都会生成一篇日志，目前测试环境大约有12w日志。生产环境应该更多。日志没有规律，按程序员的想法随便输出的。现在准备用elk框架收集，目前我的做法是用logstash把所有日志按行吐到es上，并且加一个字段为该日志的日志名。我用query match 搜索 message中的关键字搜索不到。试着把所有日志用Logstash吐到es上时报错max_open_files过小。现在有点迷茫，不知道这个框架能不能满足日志文件过多的场景。希望老师可以指点我一下，这种场景我应该用什么方式进行日志搜集，解决同事日志查询的问题。

写回答

1回答