spark on yarn cluster模式下出错
来源:5-5 -yarn运行模式详解
慕斯8344354
2020-03-04
使用 ./spark-submit --master yarn --name spark_on_yarn --deploy-mode client /root/script/hello.py 提交作业运行,一点问题都没有。
但在cluster模式下就不行:
/spark-submit --master yarn --name spark_on_yarn --deploy-mode cluster /root/script/hello.py
通过yarn logs -applicationId application_1583332841287_0012查看出错信息,如下:
但提升了权限后,仍然不行。为什么在client模式下没问题,而在cluster模式下却不行呢?求解
写回答
2回答
-
慕斯8344354
提问者
2020-03-05
这个问题有人碰到过吗?至今无解???
042020-03-05 -
Michael_PK
2020-03-04
你去看看/var/python3的权限 是多少,应该是权限不够
032020-03-05
相似问题