关于维持一个老用户名单,或者完整黑名单。该用updateStateByKey还是该用redis呢?
来源:8-2 -实战之updateStateByKey算子的使用

邱晨100
2019-04-15
老师好啊, 非常喜欢听老师的课程。我们现在采用spark streaming做流计算。之前涉及到新老用户统计,黑名单去除这样的操作,有人建议采用redis来保存所有的黑名单用户的UUID,以及老用户的UUID以实现上述的两个功能。
请问这种类似的功能可以用updateStateByKey这个算子来实现呢??用它取出并实时保存每个用户的最早登录时间。然后和dstream中的rdd做join,来判断这个用户是新用户还是老用户?
写回答
1回答
-
这个功能是否需要updateStateByKey来实现需要根据你的业务思考下。
黑名单保存到redis是没有问题的,只需要dstream,然后借助于transform函数就能进行关联操作
112019-04-15
相似问题