flink一个数据进行多个统计,如何确保所有程序都执行完

来源:9-10 -使用Flink完成wordcount统计

6209701

2018-10-09

老师,我在做一个实时数据分析系统。一条数据输入到flink后,需要进行多个指标的统计,为了方便不停机扩展,所以每一个统计指标我都写了一个jar程序。现在的实现方式是等待500ms后,将所有程序输出的数据进行整合,但是遇到了一个问题,多个程序处理数据速度不同,总会有一部分处理结果超过500ms的窗口时间,延迟到达。
我想问下有没有其他方式,确保多个程序执行完后,再输出数据进行整合?
谢谢

写回答

2回答

Michael_PK

2018-10-09

延迟到达是很正常的,flink里面有类似多久时间延长的控制的,超过延迟真就丢了

0
0

Michael_PK

2018-10-09

如果是同一份数据源的,建议直接在一个类里面,加载成多个DataSet进行处理,不需要分开多个jar吧

0
2
Michael_PK
回复
6209701
你查下flink里面的水印概念
2018-10-10
共2条回复

10小时入门大数据

【毕设】大数据零基础入门必备,轻松掌握Hadoop开发核心技能

1456 学习 · 656 问题

查看课程