原语

来源:10-2 ReduceJoin流程分析

慕少0127260

2019-10-28

相同的key为 一组,调用一次reduce方法,意思是一组数据只能分配 到一个reduce不能分配 到多个reduce,但多组数据可以分配 到一个reduce,是这么理解 吗

写回答

1回答

Michael_PK

2019-10-28

相同的key shuffle后就是在一个reduce上的

1
8
Michael_PK
回复
慕少0127260
很对的,就是这个逻辑,先打散 做一次reduce,然后后面再做一个“去”的操作,这样就解决数据清洗了
2019-10-31
共8条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2397 学习 · 902 问题

查看课程