updateStateByKey获得指定时间段内数据统计

首页课程实战体系课手记专栏慕课教程

updateStateByKey获得指定时间段内数据统计

来源：8-2 -实战之updateStateByKey算子的使用

逍遥胖胖

2018-11-24

在课程里看到演示了使用updateStateByKey获得全局的数据次数统计，如果我想获得最近一分钟的数据次数统计，该怎么解决，例如ssc的间隔是5秒一次，我想获得最近一分钟的（也就是前30次的），网上查了资料，也没看到这方面的演示。。。我感觉应该可以通过updateFunction这个函数来自定义，但是也不知道怎么操作，可以给些提示吗

写回答

1回答

Michael_PK

Michael_PK

2018-11-24

已采纳

使用window算子能满足你的需求，设定window 的大小和滑动的大小

0

1

逍遥胖胖

非常感谢！

2018-11-26

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

老师我有个问题：首先数据到kafka，数据是要全部弄到kafka上，streaming在去处理，还是数据一点一点的到kafka上...

回答 1

关于时间窗口上的时间点的锁定问题

回答 1

为什么大数据的消息订阅发布要选用kafka

回答 1

回答 1

请教老师spark streaming能直接读取hbase或hive的数据，然后实时计算输出？

回答 1

打开慕课网App查看更多内容