SparkStreaming和kafka 用checkpoint管理offset课上说是有问题,请问会出现哪些问题，怎么解决

来源：15-9 -补充内容总结

慕粉3575308

2021-07-08

写回答

1回答

Michael_PK

2021-07-12

参考官网：https://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html#checkpoints的最后一句话：But for unplanned failures that require code changes, you will lose data unless you have another way to identify known good starting offsets.

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程

相似问题

sparkstreaming管理kafka的offset问题

回答 3

sparkstreaming对接kafka时选择哪种方式（在实际生产），关于重复消费怎么解决？

回答 1

执行Kafka启动命令后JPS没有出现Kafka

回答 1

怎么量化flume + kafka带来的性能提升

回答 1

kafka偏移量管理问题

回答 2

打开慕课网App查看更多内容