在省份流量统计中,只对key值进行count,不同的key值不会加到一起吗?
来源:6-12 省份浏览量统计之功能实现

慕工程7011617
2021-03-10
比如上海 1 北京1
是分别发到两个reduce上还是一个reduce中?
发到一个reduce中会不会变成上海 2 或者北京2
还是同一个reduce也会按照hash顺序来多次处理当成多个reduce用呀?
写回答
1回答
-
map处理完,比如上海1 北京1 会经过shuffle进行分发,相同的key是分发到同一个reduce中才能进行聚合操作。
不可能会变成上海2,因为相同的key会进入同一个reduce,再进行聚合的。上海和北京是两个不同的key
022021-03-11
相似问题
partion数量的问题
回答 1
原语
回答 1