spark从kafka获取消息，有个疑惑

来源：7-4 图解SparkStreaming整合Kafka offset的管理机制

fuyang7412

2022-12-01

根据offset去kafka里面消费消息，是否要等spark把本批次的消息都处理完，然后执行下一批次的时候，再根据上一个批次的最后位置(offset)去kafka拉取数据？

写回答

1回答

Michael_PK

2022-12-05

ss是根据时间来切割，那么这一批处理的的肯定是一个范围的offset的，但是处理的过程中可能会出问题：业务逻辑处理挂了，或者offset提交挂了，都是有可能的。

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

回答 1

回答 2

疑惑

回答 1

回答 1

回答 1