spark疑惑
来源:6-7 Spark部署及服务器端测试

慕九州3016327
2020-12-27
老师我在执行
bin/spark-submit --class org.apache.spark.examples.SparkPi
–master yarn
examples/jars/spark-examples*.jar
2
测试的时候,我只启动了yarn,没有启动hdfs,报错了,只有全启动了才可以。这是spark在执行的时候用到了mapreduce吗,不应该呀,spark不应该用自己的rdd嘛,求解。
写回答
1回答
-
Michael_PK
2020-12-27
这个贴下报错信息看看,yarn运行的时候有些东西是有可能要写到hdfs上的,所以一般spark运行时Hadoop相关的进程都在
012020-12-27
相似问题