关于提交作业到Spark on yarn cluster时,出现如下问题???
来源:9-24 -Spark on YARN基础

阳光洒在路上就不怕心碎f
2018-06-06
一直处于state: ACCEPTED状态,我查了一下,是应为虚拟机内存(3G)的太小了嘛?我提交yarn client是可以正常运行的。
命令:
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --executor-memory 1G \ --num-executors 1 \ /home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar \ 4
写回答
1回答
-
Michael_PK
2018-06-06
accept的说明你的作业还没真正拿到yarn的资源,请检查下yarn是否正常或者有资源
012018-06-07
相似问题