帅老师，请进。一个Azkaban Job 依赖的问题，你提供一下思路呗

来源：12-10 Azbakan在生产上使用的改造思路

Muller_Lcy

2018-08-06

定时的使用 Flume 进行数据收集，同时把数据写到HDFS 中，同时一个依赖Flume 数据的MR 程序也要执行。

但是，我们知道 job 的依赖关系是一个任务完成了之后，第二个才能执行可是Flume 是一直在执行中的，这就意味着

MR 程序就运行不起来了

讲一下我的思路：单独将MR 程序，做一个定时任务，比方：1点Flume 开始收集，到了3点就跑RM 程序。

这样做是可以的，但是总觉得有比这更好的。

帅老师，拜托了别让再我自己想了，我真想不出来。要是真有就告诉我吧。。。。。。

写回答

1回答

Michael_PK

2018-08-06

已采纳

NONONO，flume采集不会配置到AZ的，AZ上只配置作业

Muller_Lcy

Michael_PK

给你点个赞

2018-08-06

共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

回答 2

回答 2

回答 1

回答 3

回答 2