如何在pycharm中，实现pyspark程序的远程提交呢
来源：3-8 -pyspark
会飞的光影
2023-09-09
在网上看了下，
self.conf=SparkConf().setMaster(“spark://192.168.9.110:7077”).setAppName(“word-count”)
在修改了sparkconf里面的master 设置，但是会报错，Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
ERROR:root:Exception while sending command.
我修改了 conf = SparkConf().set(“spark.executor.memory”, ‘512m’)
.set(“spark.driver.memory”, ‘512m’)
.set(“spark.executor.cores”,‘1’)
.set(“spark.driver.cores”,“1”)
还是不行，我怀疑是cores 或者用户有问题，换用户为root怎么操作呢，修改cores 怎么操作呢
1回答
-
1）Initial job has not accepted any resources; 这个的意思是没有多余的资源给你的这个作业使用了
2）你的图上有个running application 显示有1个作业正在运行， 你点击开看下，这是一个什么作业，是不是该作业把集群中的资源用完了？
3）跟用户应该没有什么关系。你的completed application中有HP也有root，这个你是使用不同用户提交的吗，这个没啥关系的
012023-09-24
相似问题