先将df注册为一张表,查询的 结果是个df, 在这个基础上创建了一个新的表, 再次执行explode就不能执行爆炸列的操作了

来源:10-7 -处理复杂的JSON数据

慕桂英1146026

2018-12-05

原始数据如下(json文件的数据为什么不能换行,换行的json文件就根本解析不出来):

{"name": "Michael", "age": 25, "myScore": [{"score1": 19, "score2": 23}, "score1": 58, "score2": 50}]}
{"name": "Andy","age": 30,"myScore": [{"score1": 29, "score2": 33}, {"score1": 38, "score2": 52}, {"score1": 88, "score2": 71}]}
{"name": "Justin", "age": 19, "myScore": [{"score1": 39, "score2": 43}, {"score1": 28, "score2": 53}]}


http://img.mukewang.com/szimg/5c06bfba00016ef819141684.jpg

写回答

1回答

Michael_PK

2018-12-05

1)json格式必须是格式正确的,否则解析不出来

2)你要专注explode的入参的数据类型是否正确,请查下你的列的类型是否符合explode的要求,不是什么东西丢进去都认的。

0
2
Michael_PK
回复
慕桂英1146026
嵌套的不需要两次,加载进来,U DF解决它
2018-12-05
共2条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程