spark read parquet报错,但是能写入

来源:9-11 -需求一统计功能实现

摆渡船夫

2018-06-11

//img.mukewang.com/szimg/5b1e1bd70001551b16230682.jpg

//img.mukewang.com/szimg/5b1e1cd40001c7e315860271.jpg



上一节中,写入数据以parquet放入,能成功。但是数据读取,报错,在读取parquet文件过程中。对比代码,没看出什么错误。。。报的错误就是图片上的,没得出啥结论

写回答

4回答

摆渡船夫

提问者

2018-06-11

我的scala是2.11.3 ,这个升级到2.11.8 就解决了。。。版本对应关系。

2
0

Michael_PK

2018-06-11

你使用spark shell读取看看,在Linux上操作

0
1
摆渡船夫
INFO SharedState: Setting hive.metastore.warehouse.dir ('null') to the value of spark.sql.warehouse.dir ('file:/C:/Users/Scyangle/IdeaProjects/scalaTest/spark-warehouse/'). 日志中这个会有关系吗?我是在windows本地开发的,启动spark-shell不方便
2018-06-11
共1条回复

Michael_PK

2018-06-11

刚才没到图。你用反斜杠以及本地使用local开头试试

0
1
摆渡船夫
val accessDF = spark.read.format("parquet").load("file:///C:/Users/Scyangle/Desktop/spark-scala/mooc/access") //是这样做吗,这么操作也是错误
2018-06-11
共1条回复

Michael_PK

2018-06-11

提供详细信息

0
0

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程