老师，关于Task的一些概念想交流一下

首页课程实战体系课手记专栏慕课教程

老师，关于Task的一些概念想交流一下

来源：6-2 -Spark核心概念详解

RhythmEVO

2018-09-06

老师好，我看了课程之后不太理解Task这个概念，谷歌了一波，看到一种说法是RDD中一个Partition对应一个Task，因为RDD计算时也是以Partition进行单位。然后如果一个Job有2个以上的Stage，如果中间不进行repartition操作的话两个Stage的Task（Partition）数量也是一样的。这种说法正确吗？

写回答

1回答

Michael_PK

Michael_PK

2018-09-06

没错，一个partition就是对应一个task

0

0

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

老师，这个Task 的含义我那么一点点懵掉了

回答 1

能详细说一下 driver, executor, job, stage, task 之间的关系吗

回答 2

老师，一个 parition 一个 task，那是不是说有几个 partition 就有几个线程处理呢

回答 1

关于task的问题

回答 1

老师在视频里说的am是什么

回答 1

打开慕课网App查看更多内容