在YARN上提交打包的作业之后，提示已杀死，这是为什么呢？
来源：9-25 -数据清洗作业运行到YARN上
weixin_慕尼黑434357
2019-08-08
报错情况
在YARN上看到的是这样，提交了很多次都是succeeded
然而HDFS上并没有相应的输出文件，只有这样一个文件夹，里面的内容也是空的
///////////////////////////////// 修改为500M后的异常情况图
先是出现了这样的WARN，大概重复了5 6次
然后就是下面的ERROR
接上图
接上图
接上图
----------------------- 再次尝试后
我先试了一下Pi的例子，是可以出结果的(但是executor-memory设置为500M的话会失败，设置为2G可以成功运行，下一张也有YARN上记录的Pi失败任务）
然后我再提交项目中的作业任务（内存设置的2G，Yarn和Spark都开启了），会在这个进度条一直卡住一分钟多，然后告诉我失败
这是Yarn上的application具体信息
控制台信息
//////////////////////////// 代码和脚本
这是我的代码，没有找到您说的new SparkConf，是这个原因吗？
这是提交作业的脚本
/////////////////////// 1G + 2个executor
写回答
2回答
-
weixin_慕尼黑434357
提问者
2019-08-08
可是跑课程中的Pi案例是没问题的, yarn和yarn-cluster都成功了呢, 我是伪分布式的
0162019-08-09 -
Michael_PK
2019-08-08
你这日志说明环境有问题，yarn作业都没跑成功的呢
00
相似问题