任务管理的问题

来源：9-25 -数据清洗作业运行到YARN上

small_925_ant

2017-08-15

老师如果我想实现每天定时执行这个任务，或者对任务有个状态之类的监控，完成率，有什么好的方向吗

写回答

1回答

Michael_PK

2017-08-15

已采纳

最简单的方式可以使用crontab进行调度，也可以使用Azkaban或者Ooize等开源框架进行调度。对任务的状态监控可以学习下spark提供的restful接口，spark官网有介绍

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 1

回答 4

回答 1

回答 2

回答 1