时间窗内内，如果数据量太大怎么办？

来源：2-13 Flink实时处理应用Java开发之代码重构

慕用6324464

2019-04-15

老师，你好。
有个问题想请教下，如果在设定的时间窗口内，比如一分钟，会不会有可能在一分钟的等待时间内，因为源源不断涌入的数据量太大，使得flink的进程oom？

写回答

1回答

Michael_PK

2019-04-15

已采纳

对接Kafka的话，可以做限速。如果没有控制好，是真有可能数据暴增导致作业失败

慕用6324464

Michael_PK

时间上是有重叠的。比如: 14:02计算14:00-14:01 14:03计算14:01-14:02 那两次计算中，14:01的数据就是重叠的部分。

2019-04-17

共3条回复

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势，多语言系统化讲解，极速入门Flink

969 学习 · 296 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1