实战

回到首页 个人中心 反馈问题 注册登录
下载APP
首页 课程 实战 体系课 手记 专栏 慕课教程

updateStateByKey的时候设置checkpoint的作用?

来源：8-2 -实战之updateStateByKey算子的使用

啾啾8

2017-11-12

updateStateByKey的时候需要设置checkpoint的目录,课程中说是为了存放旧的的值,我觉得是因为要定期去做checkpoint而不是去存放旧的值,旧的值还是存在内存中的吧,checkpoint的作用是防止数据丢失重新去计算DAG中的每一步;如果每次计算都要做checkpoint会不会影响计算速度?而且checkpoint之后之前的依赖关系也销毁,这样可以释放资源;所以我认为checkpoint说是为了存放旧的值的说法不正确

写回答

1回答

Michael_PK

2017-11-12

你这说的是一部分。你想一个问题，所有的旧值都只存放内存？你的内存不会被爆？因为7*24小时不停的流处理

0
0

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程

相似问题

checkpoint，updateStateByKey

回答 1

checkpoint

回答 1

关于维持一个老用户名单，或者完整黑名单。该用updateStateByKey还是该用redis呢？

回答 1

请问一下在实时计算时如何排重？

回答 1

VMWare打开hadoop的虚拟机后，没有IP地址怎么办？

回答 3

打开慕课网App查看更多内容