启动spark报错

来源:2-7 -Spark源码编译及部署

qq_雪_13

2018-10-30

老师启动spark 的时候报错,请问一下是什么原因?
18/10/30 20:26:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
Setting default log level to “WARN”.
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
18/10/30 20:27:11 ERROR spark.SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: File does not exist: hdfs://hadoop000:8020/directory

写回答

1回答

Michael_PK

2018-10-30

HDFS那个目录不存在,自己去HDFS上创建那个目录就行了

0
3
qq_山中人_0
回复
Michael_PK
解决了,非常感谢
2018-11-13
共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程