消费者数量的问题

来源：6-14 SparkStreaming对接Kafka offset管理

程研板

2022-03-07

采用的是Direct Stream模式，假如kafka有10个分区，spark有5个executor，每个executor有两个task，刚好可以一一对应kafka的10个分区。想问下，spark会创建2个消费者对象还是10个消费者对象？即消费者对象的数量是executor数量还是task数量？

写回答

1回答

Michael_PK

2022-03-08

spark direct模式，是一个task对应一个kafka的partition，记住这一点就行了

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1