sparkstreaming对接kafka时选择哪种方式（在实际生产），关于重复消费怎么解决？

首页课程实战体系课手记专栏慕课教程

sparkstreaming对接kafka时选择哪种方式（在实际生产），关于重复消费怎么解决？

来源：15-6 -offset管理演示二

放开山楂

2018-11-20

sparkstreaming对接kafka时选择哪种方式（在实际生产），关于重复消费怎么解决？

写回答

1回答

Michael_PK

Michael_PK

2018-11-20

生产上direct的多，解决重复问题必然是要保存offset

0

2

Michael_PK

都可以，zk，kafka自身，Redis，自己想哪种就哪种

2018-11-20

共2条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

两个问题关于Direct方式

回答 1

消费 Kafka 错误

回答 1

老师我有个问题：首先数据到kafka，数据是要全部弄到kafka上，streaming在去处理，还是数据一点一点的到kafka上...

回答 1

sparkstreaming管理kafka的offset问题

回答 3

怎么量化flume + kafka带来的性能提升

回答 1

打开慕课网App查看更多内容