checkpoint，updateStateByKey

来源：13-5 -Spring Boot整合Echarts绘制静态数据柱状图

慕桂英8135279

2018-08-23

updateStateByKey 每次会更新所有的值，即使这个key以后再也不会出现，但是每次还是会计算。怎么能干掉再也不会出现的key

写回答

1回答

Michael_PK

2018-08-23

已采纳

所有的都在的，因为spark作为通用的处理是不关注你的业务的，它不管是否会出现。所以你说的那种场景，建议直接把结果写到类似nosql数据库中，也就是不使用update...的方式，有数据进来就直接对nosql的数据进行相应的业务处理。就不用关注中间的状态了

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1