关于 executor

来源：7-1 -课程目录

pain7

2020-09-17

现在跑一个 job 都可以指定 executor 的个数，还有 memory。那我怎么知道我的集群到底有多少 executor 啊，或者可以用于 spark 的 memory 大小啊

写回答

1回答

Michael_PK

2020-09-17

已采纳

首先：集群的资源是直接在YARN UI上就能看到的，这个和executor没有直接关系的

其次：提交作业到YARN，生产上肯定都是划分了队列的，什么作业提交到上面队列上是固定，那么队列固定了也就意味着你能使用的资源就确定了

再次：你通过spark-submit的时候提交需要根据你的数据量、复杂度进行综合评估，然后根据测试的结果来设定最佳的executor的个数和每个executor的memory以及core的数量

pain7

非常感谢！

2020-09-18

共1条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1