老师，这个Task 的含义我那么一点点懵掉了

来源：6-4 -Spark运行架构及注意事项

Muller_Lcy

2018-07-16

我们在讲术语的时候我记得很清楚这个Executor 中有多个Task

Task 中有多个 Job # Task 遇到 Action 算子产生Job

Job 被拆分成多个 Stage

Stage 中又有多个 Task? # 貌似死循环了。。。。

我是这么理解的哈这两个Task 实际是指的是同一个 Task

这些Task 被分成了多个Job 来执行，每一个Job 中的 Stage 用来真正执行这些Task

我不知道我这样理解是对还是错？

本来已经过了但还是怕理解错了赶紧回来补了一遍确认一下

写回答

1回答

Michael_PK

2018-07-16

这个Executor 中有多个Task ：task就是线程运行的，一个executor中可以多线程并行跑，这取决于core的数量。

Task 中有多个 Job ？？？？？这句话不对吧，一个application中有有多个job，遇到action产生一个job

Michael_PK

Muller_Lcy

恩恩啦

2018-07-16

共2条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 2