关于Spark运行模式:YARN

来源:2-12 Spark运行模式

cloverwang

2021-12-15

视频中提到Spark可以只有一个客户端节点,却可以让Hadoop集群去计算?不需要每个节点都有Spark的运行环境吗?

写回答

1回答

Michael_PK

2021-12-16

spark on yarn模式,不需要安装spark集群,因为spark就是个提交的客户端而已,提交有的作业直接是运行在yarn上的,不管yarn是几个节点,统一通过yarn的资源分配来进行运行spark作业

0
0

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

查看课程