SparkConf、SparkContext等都找不到

来源:5-2 -A SQLContext的使用

bearsmall

2018-09-06

http://img.mukewang.com/szimg/5b9021570001d63e16470893.jpg

http://img.mukewang.com/szimg/5b90215700012fc016220912.jpg


写回答

2回答

Michael_PK

2018-09-06

SparkConf的包导入了吗

0
1
bearsmall
导入了,是maven版本问题,我在window环境下用maven的3.5.3版本导入不来了其它依赖包,换成3.3.9版本就好了,但是linux系统 上用3.5.3版本可以导入。噗呲。
2018-09-06
共1条回复

bearsmall

提问者

2018-09-06

好奇怪,我把maven版本从之前的3.5.3换成3.3.9之后,级联依赖的jar包才体现出来。之前用的maven版本是3.5.3,但是spark-sql显示是没有级联依赖,现在换成3.3.9,倒是有级联依赖了。我擦,maven是怎么回事,这个级联否应该是个规范才对啊,感觉不应该跟maven的版本挂钩吧,还是说maven定义的规范,新版本不考虑下兼容性什么的说改就改?java就是这个烦的一笔,有时候把源码全部给你,其它一些依赖什么的没配好,都不一定跑得起来。o(╯□╰)o

//img.mukewang.com/szimg/5b9032310001d22b19210974.jpg

0
2
bearsmall
回复
Michael_PK
reimport了好多次。
2018-09-06
共2条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程