实时数据如何去重

首页课程实战体系课手记专栏慕课教程

实时数据如何去重

来源：11-9 数据清洗过程中添加业务逻辑条件的过滤

qq_SUPERATURL_0

2020-07-29

flink怎么对实时数据去重？

写回答

1回答

Michael_PK

Michael_PK

2020-07-29

已采纳

现在用的比较多的有如下几种：

1）自定义维护State，比如说采用MapState来做

2）使用Redis整合布隆过滤器来实现（这种性能会更好）

0

1

qq_SUPERATURL_0

非常感谢！

2020-07-29

共1条回复

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势，多语言系统化讲解，极速入门Flink

969 学习 · 296 问题

相似问题

关于一份数据多个统计指标的是如何实际来开发的？

回答 1

大数据面试经验

回答 1

时间窗内内，如果数据量太大怎么办？

回答 1

用JDBCInputFormat连接mysql获取数据进行批处理，但如果获取的数据量比较大，性能方面有问题，这种需要怎么处理？

回答 1

flink应用场景的一些疑问

回答 2

打开慕课网App查看更多内容