测试spark的时候报错

来源:3-1 -课程目录

qq_雪_13

2018-10-23

[hadoop@hadoop000 bin]$ ./spark-shell
18/10/23 21:18:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
org.apache.spark.sql.SparkSessionBuilder.getOrCreate(SparkSession.scala:921)atorg.apache.spark.repl.MainBuilder.getOrCreate(SparkSession.scala:921) at org.apache.spark.repl.MainBuilder.getOrCreate(SparkSession.scala:921)atorg.apache.spark.repl.Main.createSparkSession(Main.scala:103)
… 55 elided
:14: error: not found: value spark
import spark.implicits._
^
:14: error: not found: value spark
import spark.sql
^
Welcome to
____ __
/ / ___ / /
\ / _ / _ `/ __/ '/
/
/ .__/_,// //_\ version 2.3.0
/
/

Using Scala version 2.11.8 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_91)
Type in expressions to have them evaluated.
Type :help for more information.
请问一下是什么问题?谢谢

写回答

1回答

Michael_PK

2018-10-23

你把spark home下的conf目录下的log4j那个配置文件的template后缀去掉,把里面的日志级别降低下,再重启,现在这日志看不出来缺啥,降低日志级别重启下试试

0
0

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程