为什么提交到YARN上面运行，存储到HDFS里面是两个文件呢？

来源：2-17 YARN模式下提交Spark应用程序

某不入流码农

2020-07-13

为什么这里使用YARN运行模式，最终结果输出在两个文件中呢？很迷惑，请老师解释一下

写回答

1回答

Michael_PK

2020-07-13

生产上spark绝大部分都是跑yarn的，统一资源管理。最终输出文件数是由partition或者task个数决定的

Michael_PK

某不入流码农

这个章节标题是spark的，所以这个我说的是spark里面的概念

2020-07-13

共2条回复

SparkSQL入门整合Kudu实现广告业务数据分析

大数据工程师干货课程带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1