老师,请问实际生产中,flume kafka zookeeper 必须要有单独的服务器吗

来源：3-3 -Flume概述

慕运维7479159

2018-05-28

目前运行三天就报内存超出的现象,一共就三台服务器,安装了全部的任务,flume 的buff/cache 一直居高不下

zookeeper 占用内存也很多,不知是否要分开机器,以及配置要求, 每天处理数据量大约数据量为 259200000(2.592亿条) 条数据,这样的数据量推荐配置是什么,谢谢了

写回答

1回答

Michael_PK

2018-05-28

已采纳

这个数据量的评估，你要考虑几点，每天多少数据，需要存多久不删除的，根据这个来估计你的存储空间。然后具体计算需要多少资源得根据你们要求的性能是多少来评估。一般在一个集群上这些组件都是找几个集群混合部署在一起的。比如你有三个机器那只能是每个机器都要部署他们，机器多的话建议分开部署，减少些压力

慕运维7479159

非常感谢！

2018-05-28

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 2

回答 1

回答 3

回答 1