Spark streaming同时消费2个kafka主题数据的分区情况及如何进行计算优化的咨询问题

来源：1-5 -大数据概述

慕神816625

2018-06-02

Spark streaming同时消费2个kafka主题数据，其分区数量分别为4分区和8分区，先后进行了map,join,reduceByKey操作，在此过程中，Dstream/RDD的分区变化的各种可能情况，以及如何进行计算优化？

写回答

1回答

Michael_PK

2018-06-02

这个取决于你的streaming和kafka的对接方式，direct时kafka可以通过提高分区数来达到提高处理的分区数。这个详细的官网是有非常详细的描述

慕神816625

Michael_PK

好的，谢谢老师，非常感谢

2018-06-02

共3条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 1

回答 2

回答 2

回答 1

回答 1