关于Partitioner和Shuffle的一些疑问

来源：4-17 流量统计实战升级之自定义Partitioner

某不入流码农

2020-06-23

1）感觉partitioner的职能好像和shuffle有些相似，但又不太一样，partitioner负责将数据按指定条件分区，shuffle负责将各个分区的数据copy到reduce端，这样理解是否正确？

2）partitioner和combiner都属于shuffle的一部分吗？
3）partitioner和combiner都是基于map的输出做的处理，都是在shuffle之前，这样说的正确吗？

以上问题稍有疑惑，烦请老师给点拨一下…

写回答

1回答

Michael_PK

2020-06-24

已采纳

1）理解的是ok的。

2）其实shuffle可以这么理解：从map的输入到reducer的数据的过程都术语

3）准确的说是处于shuffle的前半阶段

某不入流码农

PK大佬辛苦哇，谢谢。

2020-06-24

共1条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

2397 学习 · 902 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1