spark on yarn cluster模式下出错

来源:5-5 -yarn运行模式详解

慕斯8344354

2020-03-04

使用 ./spark-submit --master yarn --name spark_on_yarn --deploy-mode client /root/script/hello.py 提交作业运行,一点问题都没有。
但在cluster模式下就不行:
/spark-submit --master yarn --name spark_on_yarn --deploy-mode cluster /root/script/hello.py
通过yarn logs -applicationId application_1583332841287_0012查看出错信息,如下:
但提升了权限后,仍然不行。为什么在client模式下没问题,而在cluster模式下却不行呢?求解
图片描述

写回答

2回答

慕斯8344354

提问者

2020-03-05

这个问题有人碰到过吗?至今无解???

0
4
Michael_PK
回复
慕斯8344354
唯一的一个可能点,你手工执行的py3和脚本提交的py3路径是不是同一个,其他地方真想不到了。。
2020-03-05
共4条回复

Michael_PK

2020-03-04

你去看看/var/python3的权限 是多少,应该是权限不够   

0
3
Michael_PK
回复
慕斯8344354
这个不是想当然的,要测试才行
2020-03-05
共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程