kafka 的--from-beginning的问题

来源：11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka

慕设计3391687

2019-03-14

老师问一下，kafka添加了–from-beginning消费，每次都会消费重复的，也就是我消费一会关掉，然后在重新打开消费，上次消费的又进行了消费？这种问题怎么解决，生产环境用这个配置吗，或者spark streaming或者kafak有什么好的处理机制

写回答

1回答

Michael_PK

2019-03-14

–from-beginning 这个参数生产上肯定不会使用的。 spark streaming和kafka的offset管理，本门课程最后章节补充了一个视频的，可以了解下

慕设计3391687

好的，多谢老哥

2019-03-14

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 2

回答 4

回答 1

回答 1