NumReduceTasks的个数问题

首页课程实战体系课手记专栏慕课教程

NumReduceTasks的个数问题

来源：4-17 流量统计实战升级之自定义Partitioner

慕沐3571032

2020-09-02

当job.setNumReduceTasks()的个数大于自定义Partitioner中的分区规则个数时，程序正常执行，相当于多分配了几个reducetask任务,多分配的reducetask没有干活而已
当job.setNumReduceTasks()的个数小于自定义Partitionew中的分区规则个数时，job.waitForCompletion()会输出返回false,同时没有输出文件

pk哥这样说对吗？？

写回答

1回答

Michael_PK

Michael_PK

2020-09-03

三个场景你可以动手测试下：

1）reduce > partition

2） 1 < reduce < partition

3) reduce = 1

1

2

Michael_PK

回复

慕粉1926212165

0 的时候就没reduce，map就完成

2021-07-27

共2条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

2397 学习 · 902 问题

相似问题

reduce个数疑问

回答 1

partion数量的问题

回答 1

如果我的数据里有N个部门，需要按部门的数量进行分区，这个有什么好办法

回答 1

接上一个问题

回答 1

关于集群架构的问题

回答 1

打开慕课网App查看更多内容