关于spark application的理解
来源:3-14 spark-sql启动流程分析

程研板
2021-04-21
我觉得spark的application相当于一个job容器,打开spark sql CLI这个客户端,就相当于打开容器,然后能够不断地向里面提交job。而Hive CLI这种客户端,运行mr的话,一个application只能装一个job。多个job之间都是隔离的。所以我觉得多个job放入一个application中一起处理,也是spark比mr好一点的地方,不知道我的理解怎么样😄。
写回答
1回答
-
这个理解不太对的,spark中的一个application就是一个driver和n个executor构成起来的,一个job对应的就是action算子触发产生的。这一个部分spark官网上有详细的spark术语介绍
042021-04-23
相似问题
运行spark-shell的时候报错
回答 1
spark离线处理读取source数据
回答 1
server模式Cache表的生命周期
回答 1
关于Spark运行模式:YARN
回答 1
Spark快的原因
回答 1