SSS的容错使用offset还是checkpointLocation

来源:9-9 调优及作业

夜愿小夜

2022-01-14

我的疑问:
这一节老师讲到有几个优化点:

  • foreachBatch
  • offset
  • checkpointLocation
    后面2个感觉都是为了保证数据处理正确的,是不是offset和checkpointLocation二选一即可?
    如果两个都用,会不会 有问题?
    可能我的理解不对啊,希望老师解答!
写回答

1回答

Michael_PK

2022-01-16

checkpointLocation这个是指定路径,自动处理后都输出在这里。

但是这种方式不是太理想。最好是将offset的管理自己开提交,比如存储到相关的存储系统中,比如:redis 等

0
0

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程