filebeat整合logstash生产问题

来源：11-6 多实例运行

qq_无妄_3

2018-07-11

数据的每天增量为1T多；有三大类日志；

1、用三个filebeat采集和三个logstash实例（单机多实例运行）来过滤

2、用一个filebeat采集给日志文件加标记；通过一个logstash（单机单实例）来分类过滤

这两种方法是不是第二种比较安全可靠呢？同事一直赞同第二种；说logstash底层运行的时候还是一个配置文件。会有安全隐患

为什么我感觉第一种方法解耦能力比较好呢？有木有大神来解答一下这两种方法？（本人刚毕业；比较菜。。。）

写回答

1回答

rockybean

2018-07-11

已采纳

没看懂为什么三个 filebeat 可以缩成一个 filebeat？一台主机上只运行一个 filebeat 就可以。

logstash 的容灾可以考虑通过 haproxy 等做负载均衡实现，不过在 logstash down 掉的时候，filebeat 会暂停收集日志，直到 logstash 启动，因此不加负载均衡，问题也不大。你可以自己试验一下看

qq_无妄_3

老师；我想问个问题；就是我在使用filebeat+kafka+logstash的时候；先开启filebeat传输数据然后再开启logstash 会报ruby错误 [2018-07-31T11:20:27,263][ERROR][logstash.filters.ruby ] Ruby exception occurred: [2018-07-31T11:20:27,263][ERROR][logstash.filters.ruby ] Ruby exception occurred: [2018-07-31T11:20:27,271][ERROR][logstash.filters.ruby ] Ruby exception occurred: [2018-07-31T11:20:27,282][ERROR][logstash.filters.ruby ] Ruby exception occurred: [2018-07-31T11:20:28,119][ERROR][logstash.filters.ruby ] Ruby exception occurred: [2018-07-31T11:20:28,165][ERROR][logstash.filters.ruby ] Ruby exception occurred: [2018-07-31T11:20:28,170][ERROR][logstash.filters.ruby ] Ruby exception occurred: 如果先开启logstash然后再开启filebeat就不会有ruby报错；我的配置文件ruby部分是没错的 ruby{ code => 'time=Time.parse(event.get("Time")); event.set("dt_exam_num","%10.3f"%time.to_time.to_f) ' } ruby{ code => 'time=Time.parse(event.get("Time")); event.set("dt_exam",time+8*60*60)

2018-07-31

共2条回复

Elastic Stack从入门到实践，动手搭建数据分析系统

有了Elastic Stack，不用写一行代码，你也可以玩转大数据分析！

1361 学习 · 397 问题

查看课程

相似问题

请问老师，Logstash如何抓取远程服务器的日志？

回答 1

filebeat-module

回答 1

filebeat吐文件到logstash乱码问题

回答 2

filebeat 7.5.2

回答 2

logstash整合elasticsearch问题

回答 1

打开慕课网App查看更多内容