spark streaming写到redis中进行累加操作，这个应该是at least one语义吧？

来源：6-14 SparkStreaming对接Kafka offset管理

程研板

2022-03-12

有两个问题
1.spark streaming写到redis中进行累加操作，这个应该是at least one语义吧？
2.采用structured streaming的话，有statestore机制，可以直接hset幂等写入redis，这是精确一次语义吧？

写回答

1回答

Michael_PK

2022-03-13

ss sss都是能保证at least once的，这个没啥好奇的，关键是要exactly once，这个要从offset的角度去评判

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1