关于sql-sql

来源：4-1 课程目录

慕少0127260

2022-03-27

如果有正常运行的Hadoop Yarn环境，我输入 spark-sql是把任务提交到yarn上吗，我在yarn WEB可以查到这个Spark任务

写回答

1回答

Michael_PK

2022-03-29

spark的运行模式建议先了解下，你要提交到什么地方运行，需要通过--master参数指定

Michael_PK

慕少0127260

相同的key的hash是一样的，即使是负的。 reduce中不会有重复的数据，因为reduce的数据都是map端shuffle过来的，除非你进到map端的数据就重复了

2022-04-14

共6条回复

SparkSQL入门整合Kudu实现广告业务数据分析

大数据工程师干货课程带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

相似问题

回答 1

回答 1

扩展题

回答 1

回答 1

回答 1