分区问题

来源：4-13 Transformation算子之keyBy

吐丝蚕宝宝

2022-11-16

老师，如果keyby 的时候key特别多，像几千个key，那么会有几千个分区吗？每个key都在单独的task中执行吗？这样会不会很耗资源呢？

写回答

1回答

Michael_PK

2022-11-18

多个key，相同的key一定在一个task。但是也有可能多个key是被分在同一个分区的。并不是说一个key就一定在一个分区。

Michael_PK

吐丝蚕宝宝

一样准的呢。多个key在同一个分区，那么就在一个reducer中，reduce方法会被执行多次，每个key一次的。你可以走一个debug试试：就使用一个reducer，N多不同的key都是进到这个reduce，你在reducer方法上加个断点，一个key只能进去reducer方法一次的

2022-11-28

共2条回复

Flink+ClickHouse 玩转企业级实时大数据开发

已经在做大数据，Flink助力轻松提薪；尚未入行，让你弯道超车

1000 学习 · 225 问题

相似问题

回答 1

回答 2

回答 3

回答 2

回答 2