如果我的数据里有N个部门，需要按部门的数量进行分区，这个有什么好办法

首页课程实战体系课手记专栏慕课教程

如果我的数据里有N个部门，需要按部门的数量进行分区，这个有什么好办法

来源：4-17 流量统计实战升级之自定义Partitioner

慕九州9173130

2020-06-07

老师你好，我想知道实际应用中，如果我想按数据中的部门的数量来创建ReducerTask的数量，这个有什么好办法。

写回答

1回答

Michael_PK

Michael_PK

2020-06-07

那你按照部门字段分组，然后分区就行了

0

2

Michael_PK

回复

慕九州9173130

这个参数除非自定义分区，不然不用设置的呢。要是自己自定义分区了，那你的业务分区数多少你自己必然知道

2020-06-07

共2条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

2397 学习 · 902 问题

相似问题

partion数量的问题

回答 1

老师好，请问 trackinfo_20130721.data 这个数据，是从哪里获取

回答 2

KEYIN怎么知道的是偏移量offset?

回答 1

向分区表加载数据报错

回答 4

求教学习Spark的顺序？

回答 1

打开慕课网App查看更多内容