spark疑惑

来源:6-7 Spark部署及服务器端测试

慕九州3016327

2020-12-27

老师我在执行
bin/spark-submit --class org.apache.spark.examples.SparkPi
–master yarn
examples/jars/spark-examples*.jar
2
测试的时候,我只启动了yarn,没有启动hdfs,报错了,只有全启动了才可以。这是spark在执行的时候用到了mapreduce吗,不应该呀,spark不应该用自己的rdd嘛,求解。

写回答

1回答

Michael_PK

2020-12-27

这个贴下报错信息看看,yarn运行的时候有些东西是有可能要写到hdfs上的,所以一般spark运行时Hadoop相关的进程都在

0
1
慕九州3016327
非常感谢
2020-12-27
共1条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程