关于task slot，DOP，分区，线程的疑问

来源：5-12 自定义分区器

慕少7351152

2022-07-15

老师好～学到这里对这几个概念有一点疑问，想问一下老师：

1- 是否task slot数=DOP=分区数=线程数呢？

2- 我在程序里设置了DOP数（比如20）超过了本机的core的数量（这里12），为什么没有报错反而还能按照20个的前缀打印出结果呢？

3- 我们UI界面的工作流这里，这个job被分为了4个阶段（每个阶段的并行度不一样），这里可以理解为，4个阶段是在taskManager上串行的，然后第1个阶段并行度是1，那就只有一个slot在用，其他的空置这样，等这个阶段完成之后再进入下一个阶段吗？

图片描述

谢谢老师啦～

写回答

1回答

Michael_PK

2022-07-17

DOP的全称是？

flink里面有几个场景会进行阶段的拆分：并行度发生了变化，遇到了shuffle的算子，比如keyBy之类的

你这图上第一个箭头并行度发生了变化第二个箭头hash了，里面有类似shuffle算子，第三个图是并行度发生了变化

慕少7351152

Michael_PK

嗯嗯了解了，谢谢老师啦～

2022-07-22

共5条回复

Flink+ClickHouse 玩转企业级实时大数据开发

已经在做大数据，Flink助力轻松提薪；尚未入行，让你弯道超车

1000 学习 · 225 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2