关于提交作业到Spark on yarn cluster时,出现如下问题???

来源:9-24 -Spark on YARN基础

阳光洒在路上就不怕心碎f

2018-06-06

一直处于state: ACCEPTED状态,我查了一下,是应为虚拟机内存(3G)的太小了嘛?我提交yarn client是可以正常运行的。

命令:

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \
--executor-memory 1G \
--num-executors 1 \
/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar \
4

http://img.mukewang.com/szimg/5b17defe0001772f13710696.jpg

写回答

1回答

Michael_PK

2018-06-06

accept的说明你的作业还没真正拿到yarn的资源,请检查下yarn是否正常或者有资源

0
1
阳光洒在路上就不怕心碎f
多谢老师,现在问题解决了,查看日志,是因为磁盘空间不够了,导师yarn资源不够,出现了Unhealthy Nodes,我删除了虚拟机一下文件,现在yarn可以正常启动了,作业也可以正常启动了。
2018-06-07
共1条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程