问个菜鸟的问题,就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的?
来源:9-24 -Spark on YARN基础
慕盖茨3418172
2017-11-14
就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的? 就是不明白spark的计算过程是在哪里执行的,因为如果用spark cluster提交作业的话 提交完了就可以直接关闭spark了 那以后的计算过程肯定就是跟yarn上执行的么?还有就是如果spark配置成集群的方式 计算过程如果在spark完成 那跟yarn还有啥关系?对不起,老师问的有些菜鸟
写回答
1回答
-
yarn不是拿来计算的,他就是一个资源调度分配的框架,他只是为作业分配对应的资源
052017-11-15
相似问题