并行度与 Shuffle

首页课程实战体系课手记专栏慕课教程

并行度与 Shuffle

来源：4-12 流量统计实战之自定义复杂数据类型

qq_LU飞_0

2019-06-26

老师您好，map 阶段的输出的时候有可能会产生多个文件，Shuffle 机制会将这多个文件合并为一个给 Reduce阶段使用么？是不是可以理解为 Reduce 阶段的入口文件永远只有一个

写回答

1回答

Michael_PK

Michael_PK

2019-06-26

已采纳

错的，reduce入口可能会有多个问题。因为map输出就可能是多个的

0

0

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

2397 学习 · 902 问题

相似问题

combiner操作是否有做shuffle？

回答 1

关于Partitioner和Shuffle的一些疑问

回答 1

合并hdfs小文件

回答 1

原语

回答 1

hadoop3性能提升与spark

回答 1

打开慕课网App查看更多内容