SSS的容错使用offset还是checkpointLocation
来源:9-9 调优及作业

夜愿小夜
2022-01-14
我的疑问:
这一节老师讲到有几个优化点:
- foreachBatch
- offset
- checkpointLocation
后面2个感觉都是为了保证数据处理正确的,是不是offset和checkpointLocation二选一即可?
如果两个都用,会不会 有问题?
可能我的理解不对啊,希望老师解答!
写回答
1回答
-
checkpointLocation这个是指定路径,自动处理后都输出在这里。
但是这种方式不是太理想。最好是将offset的管理自己开提交,比如存储到相关的存储系统中,比如:redis 等
00
相似问题