offset提交时间

来源：7-19 功能四功能实现

weixin_宝慕林1519788

2021-05-23

请问pk哥一下，StreamingAPP起来首先读取mysql中的offset开始拉取数据计算，计算业务（业务1，业务2）都完成之后再提交offset存到mysql对吗？

写回答

1回答

Michael_PK

2021-05-23

对的。offset我们可以存储在不同的地方，比如mysql、redis等等都是可以的。

启动的时候把存储的offset读取出来，传进去，然后这个批次的数据计算完之后，再把offset更新到存储的地方去

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

疑惑

回答 1

回答 2

回答 1

回答 1

回答 1