Kafka的offset是怎样维护的？

来源：10-10 -Direct方式整合之服务器环境联调

倪波

2018-04-05

Kafka的offset是怎样维护的，spark streaming挂掉之后，服务重启，它需要从上次消费完成的offset重新消费

写回答

1回答

Michael_PK

2018-04-05

这个问题很好，offset是需要记录下来的，你具体参考streaming官网，和kafka对接的部分，里面有详细的offset的保存及提交方式

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 3