partion数量的问题

来源:4-17 流量统计实战升级之自定义Partitioner

weixin_慕慕2501778

2020-03-01

请问老师,在视频中讲解的关于reduce数量的问题的时候我有这样一个疑问,如果设置了数量,那么可以用代码控制数据进入哪个reduce从而导致输出了多个文件,但是如果我们没有设置数量没有用代码控制,那默认的是同一个key的数据进入一个reduce,但是如果多个key为什么输出的问题还只是只有一个文件而不是多个?

写回答

1回答

Michael_PK

2020-03-01

reduce数量决定了最终输出的文件个数,分区数和reducer数可以不一样,那么这样可能会导致有输出文件为空。reduce数量不设置底层会给设置

0
7
Michael_PK
回复
某不入流码农
理解的到位了
2020-06-24
共7条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2397 学习 · 902 问题

查看课程