请问一下在实时计算时如何排重？

首页课程实战体系课手记专栏慕课教程

请问一下在实时计算时如何排重？

来源：8-2 -实战之updateStateByKey算子的使用

慕的地5108060

2018-10-10

请问一下老师，如果在统计类似uv的数据，如何将之前已经统计过的用户id，在后面再出现时过滤掉？实现排重的统计？

写回答

1回答

Michael_PK

Michael_PK

2018-10-10

这个需求你肯定需要把以前的存到一个地方，然后处理的时候过滤掉才可以

0

2

Michael_PK

回复

慕的地5108060

没关系，只要业务逻辑对就行

2018-10-10

共2条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

请教老师spark streaming能直接读取hbase或hive的数据，然后实时计算输出？

回答 1

执行ImoocStatStreamingApp时报错

回答 1

使用Flume采集Log4j产生的日志那节，如果将log4j.properties中rootLogger输出的日志级别改为DEBUG

回答 3

关于时间窗口上的时间点的锁定问题

回答 1

回答 1

打开慕课网App查看更多内容