真实环境怎么运行程序？

来源：6-14 SparkStreaming对接Kafka offset管理

慕慕2074236

2019-10-31

老师请问一下，课程中离线处理写了一个etl程序和一个离线分析程序，那如果现在使用crontab定时运行离线任务的话，怎么处理etl运行完后再运行离线程序呢？需要手动干预？？

写回答

1回答

Michael_PK

2019-10-31

调度都是自动的，比如第一个job跑完开始跑第二个作业，crontab的功能还是比较单一的，一般都是需要使用一些调度框架，比如azkaban、oozie等，他们都有可视化的时间配置方式。依赖的作业开始运行是不需要人工干预的，否则要是下半夜开始跑，难道还需要码农们盯着么

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

回答 4

回答 2

回答 1

回答 1

回答 1