老师，一个 parition 一个 task，那是不是说有几个 partition 就有几个线程处理呢

首页课程实战体系课手记专栏慕课教程

老师，一个 parition 一个 task，那是不是说有几个 partition 就有几个线程处理呢

来源：3-6 -图解RDD

pain7

2020-09-06

写回答

1回答

Michael_PK

Michael_PK

2020-09-06

可以这么理解的，spark里面其实就是一个rdd
有几个partition就是对应的task数量

0

1

pain7

那一个 task 是一个线程吗，是不是说默认 200 个 partition，那么就有 200 个 task

2020-09-06

共1条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

老师，这个Task 的含义我那么一点点懵掉了

回答 1

老师这一节，你的本地文本文件从哪里下载呢？

回答 1

能详细说一下 driver, executor, job, stage, task 之间的关系吗

回答 2

wholeTextFile 的partition 个数始终为 1

回答 1

老师，关于Task的一些概念想交流一下

回答 1

打开慕课网App查看更多内容