问个菜鸟的问题,就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的?

来源:9-24 -Spark on YARN基础

慕盖茨3418172

2017-11-14

就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的? 就是不明白spark的计算过程是在哪里执行的,因为如果用spark cluster提交作业的话 提交完了就可以直接关闭spark了 那以后的计算过程肯定就是跟yarn上执行的么?还有就是如果spark配置成集群的方式 计算过程如果在spark完成 那跟yarn还有啥关系?对不起,老师问的有些菜鸟

写回答

1回答

like4638

2017-11-14

yarn不是拿来计算的,他就是一个资源调度分配的框架,他只是为作业分配对应的资源

0
5
Michael_PK
回复
慕盖茨3418172
正解!
2017-11-15
共5条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程