两层flume的数据重复问题
来源：3-13 对接项目数据到日志服务器
慕盖茨9116835
2023-02-05
第一层3个flume通过两个不同的sink传到第二层的两个不同的flume 节点上 在通过这两个flume节点sink到一个kafka cluster 那这两个节点传入kafka cluster的数据是一样的 请问是传入不同的topic嘛 然后spark只消费一个topic嘛 另一个topic 放在那里不动吗 还是怎么处理这两个数据一样的flume节点 谢谢
写回答
1回答
-
Michael_PK
2023-02-06
“那这两个节点传入kafka cluster的数据是一样的”，不一样的，不同的sink的数据肯定是总数据中的部分
"请问是传入不同的topic嘛" ，这个不一定的，有不同做法，可以到一个topic中然后进行后续的清洗拆分，当然这种做法不好的，更好的是一个业务的数据业务到一个topic中
00
相似问题
flume配置时报错，找不到主类
回答 1
flume报错
回答 1
Flume版本不匹配
回答 1
flume-ng version 报错
回答 1
bin/flume-ng启动后没有反应
回答 1