关于task的问题

来源：6-6 -Spark缓存的作用

qq_小胖_0

2020-03-18

我看资料说一个partition是对应一个task，而task的数量是由core数量决定的。默认的话core是1，但是partition是多个的话，那就应该是多个task，但是core又是1的话，又应该是只要1个task吧，感觉好像有点矛盾，还是我的理解有问题？

写回答

1回答

Michael_PK

2020-03-18

已采纳

这两个东西是从两个角度来说的，一个partition是一个task；core的数据是从提交作业的角度来说的。不矛盾的。core决定并行度

qq_小胖_0

非常感谢！

2020-03-21

共1条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 1