partion数量的问题
来源:4-17 流量统计实战升级之自定义Partitioner
weixin_慕慕2501778
2020-03-01
请问老师,在视频中讲解的关于reduce数量的问题的时候我有这样一个疑问,如果设置了数量,那么可以用代码控制数据进入哪个reduce从而导致输出了多个文件,但是如果我们没有设置数量没有用代码控制,那默认的是同一个key的数据进入一个reduce,但是如果多个key为什么输出的问题还只是只有一个文件而不是多个?
写回答
1回答
-
reduce数量决定了最终输出的文件个数,分区数和reducer数可以不一样,那么这样可能会导致有输出文件为空。reduce数量不设置底层会给设置
072020-06-24
相似问题