spark streaming写入到redis进行累加操作，如何幂等呢？

首页课程实战体系课手记专栏慕课教程

spark streaming写入到redis进行累加操作，如何幂等呢？

来源：6-15 【讨论题】SparkStreaming对接Kafka数据在项

程研板

2022-03-17

这个问题暂时想不到。

写回答

1回答

Michael_PK

Michael_PK

2022-03-18

幂等要保证的是，接收的同一份数据无论处理多少次，结果都一致。

这种是要看你的具体场景选择的是那种redis数据类型

0

1

程研板

我昨天想到的一个方案，redis只保存状态，不求和，redis后面再加个es进行求和。

2022-03-18

共1条回复

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

spark如何基于cdh版本hadoop进行编译啊？

回答 1

spark streaming写到redis中进行累加操作，这个应该是at least one语义吧？

回答 1

请教老师，假如我有1万关键词要统计，用scala写，需要用到多线程吗？

回答 1

5-4 sumbit过程中，提示找不到com.imooc.bigdata.spark.pk的方法

回答 1

老师，spark和hbase架构，有什么不便的地方呢？有点想不到。

回答 1

打开慕课网App查看更多内容