关于spark application的理解

来源:3-14 spark-sql启动流程分析

程研板

2021-04-21

我觉得spark的application相当于一个job容器,打开spark sql CLI这个客户端,就相当于打开容器,然后能够不断地向里面提交job。而Hive CLI这种客户端,运行mr的话,一个application只能装一个job。多个job之间都是隔离的。所以我觉得多个job放入一个application中一起处理,也是spark比mr好一点的地方,不知道我的理解怎么样😄。

写回答

1回答

Michael_PK

2021-04-22

这个理解不太对的,spark中的一个application就是一个driver和n个executor构成起来的,一个job对应的就是action算子触发产生的。这一个部分spark官网上有详细的spark术语介绍

0
4
Michael_PK
回复
程研板
对啊,如果代码的咋办呢?肯定要自研了
2021-04-23
共4条回复

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

查看课程