关于提交作业到Spark on yarn cluster时，出现如下问题？？？

来源：9-24 -Spark on YARN基础

阳光洒在路上就不怕心碎f

2018-06-06

一直处于state: ACCEPTED状态，我查了一下，是应为虚拟机内存(3G)的太小了嘛？我提交yarn client是可以正常运行的。

命令：

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--executor-memory 1G \
--num-executors 1 \
/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar \
4

写回答

1回答

Michael_PK

2018-06-06

accept的说明你的作业还没真正拿到yarn的资源，请检查下yarn是否正常或者有资源

阳光洒在路上就不怕心碎f

多谢老师，现在问题解决了，查看日志，是因为磁盘空间不够了，导师yarn资源不够，出现了Unhealthy Nodes，我删除了虚拟机一下文件，现在yarn可以正常启动了，作业也可以正常启动了。

2018-06-07

共1条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程

相似问题

在YARN上提交打包的作业之后，提示已杀死，这是为什么呢？

回答 2

Spark On Yarn模式任务提交

回答 1

问个菜鸟的问题，就是spark计算逻辑的过程是在spark这端跑的还是提交作业在yarn上面跑的？

回答 1

对于YARN而言

回答 1

spark on yarn 报错了

回答 1

打开慕课网App查看更多内容