为什么mapPartition的并行度和输入算子的并行度是一致的？

首页课程实战体系课手记专栏慕课教程

为什么mapPartition的并行度和输入算子的并行度是一致的？

来源：4-18 Transformation函数mapPartition之Java实现

BigDataGreenHand

2020-11-19

RT，在视频中的示例程序中，有一个场景是：如果给输入算子的并行度设置为4，那么进行mapPartition划分后进行数据库连接写入数据库的时候也是使用了4个连接，为什么进行mapPartition划分后它的并行度和输入算子的并行度是一样的，不是会进行划分吗？为什么划分后的化分数和输入的并行度是一致的？

写回答

1回答

Michael_PK

Michael_PK

2020-11-19

flink并行度有三个地方，source，transformation和sink的，还有一个总的并行度。source到tranf的并行度并不一定是一致的，比如socket进来就是1，而map后默认没设置就是core对应的数量。这些关系你可以运行到通过flink UI的dag图上有清晰的展示

0

0

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势，多语言系统化讲解，极速入门Flink

969 学习 · 296 问题

相似问题

watermark疑问

回答 1

并行度问题

回答 1

并行的datasource，这个并行具体指什么？

回答 1

4-20 关于输出顺序

回答 1

flink读取文本输出是无序的吗

回答 1

打开慕课网App查看更多内容