关于维持一个老用户名单,或者完整黑名单。该用updateStateByKey还是该用redis呢?

来源:8-2 -实战之updateStateByKey算子的使用

邱晨100

2019-04-15

老师好啊, 非常喜欢听老师的课程。我们现在采用spark streaming做流计算。之前涉及到新老用户统计,黑名单去除这样的操作,有人建议采用redis来保存所有的黑名单用户的UUID,以及老用户的UUID以实现上述的两个功能。
请问这种类似的功能可以用updateStateByKey这个算子来实现呢??用它取出并实时保存每个用户的最早登录时间。然后和dstream中的rdd做join,来判断这个用户是新用户还是老用户?

写回答

1回答

Michael_PK

2019-04-15

这个功能是否需要updateStateByKey来实现需要根据你的业务思考下。


黑名单保存到redis是没有问题的,只需要dstream,然后借助于transform函数就能进行关联操作

1
1
邱晨100
非常感谢!
2019-04-15
共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程