关于消费kafka是否需要保存offset的问题？

首页课程实战体系课手记专栏慕课教程

关于消费kafka是否需要保存offset的问题？

来源：6-2 -Spark Streaming概述

hahaimooc

2017-11-23

关于消费kafka是否需要保存offset的问题？

如果不保存offset，是否会有数据丢失？在生产环境， offset是不是最好要手工维护呢？求老师解答

整个课程大数据部分都学习完了，感谢老师

写回答

1回答

Michael_PK

Michael_PK

2017-11-23

用direct模式多，然后offset需要一段代码来设置下就行了，官网上就有现成的代码直接拷贝即可

0

0

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

老师我有个问题：首先数据到kafka，数据是要全部弄到kafka上，streaming在去处理，还是数据一点一点的到kafka上...

回答 1

sparkstreaming对接kafka时选择哪种方式（在实际生产），关于重复消费怎么解决？

回答 1

怎么量化flume + kafka带来的性能提升

回答 1

sparkstreaming管理kafka的offset问题

回答 3

两个问题关于Direct方式

回答 1

打开慕课网App查看更多内容