executor 与 driver 在代码中的体现

来源：7-6 -优化之数据本地性

pain7

2020-09-12

我知道 task 是发送到 executor 执行，然后返回结构到 driver 中。但是，我不大清楚是哪一部分的代码会发送到 executor 执行，然后执行完成有多少数据会返回到 driver 中

特别是一些 api 的操作，类似 forPartition 之类的，网上有人提到，拉取数据太多到 driver 可能会 oom ，但是数据不是分布在各个 executor 里面吗

写回答

1回答

Michael_PK

2020-09-12

教你一种方式，你可以拿你不确定的算子，在算子里面加上日志输出，然后以yarn的方式跑，你看日志到底输出在executor里面还会driver里面就知道了

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1