使用这个updatestatebykey算子，会不会越存越多

首页课程实战体系课手记专栏慕课教程

使用这个updatestatebykey算子，会不会越存越多

来源：8-2 -实战之updateStateByKey算子的使用

孤独观测者

2020-08-26

老师请问，要一直储存状态的话，占用的空间会不会越来越多

写回答

1回答

Michael_PK

Michael_PK

2020-08-26

他内部有机制，但是有些场景state多的话，还是有危险的。其实state这种算子也可以不直接使用，而是落地到某个存储，然后再累加

0

0

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

报错下标越界

回答 1

关于维持一个老用户名单，或者完整黑名单。该用updateStateByKey还是该用redis呢？

回答 1

UpdateStateByKey

回答 1

请问一下在实时计算时如何排重？

回答 1

updateStateByKey的时候设置checkpoint的作用?

回答 1

打开慕课网App查看更多内容