java.lang.Integer is not a valid external type for schema of string

来源:9-10 -数据清洗存储到目标地址

qq_MU晓龍_03575368

2017-11-20

老师你好,我的项目出现以下问题,经过debug打断点测试,发现accessDF.printSchema()和accessDF.show(false)都没有问题,只是在

accessDF.coalesce(1).write.format("parquet").mode(SaveMode.Append).

    partitionBy("day").save("D:/spark/data/clean")时候出现问题,找了半天也没解决,请老师指教该如何修改bug

http://img.mukewang.com/szimg/5a12f6d80001dc5712370602.jpg

http://img.mukewang.com/szimg/5a12f6d800014c5a12900519.jpg


写回答

5回答

白笔一文字

2018-06-20

比如这样的url: http://www.imooc.com/course/program ,是不符合http://www.imooc.com/video/3237这种格式的,原程序中倒数第一个字段是要转成long类型的。

0
3
Michael_PK
回复
白笔一文字
在生产上脏数据很多的,该过滤都得过滤了先
2018-06-20
共3条回复

Michael_PK

2018-03-31

群里问下,这问题是win机器的问题,要设置一个东西才行,群里的小伙伴会回答你

0
0

慕数据3461787

2018-03-31

请问是如何解决的呢

0
0

慕哥5936827

2018-01-12

解决了吗?我也遇到这样的问题

0
2
逍遥胖胖
回复
慕哥5936827
怎么解决?一天没找到原因,求解答
2018-07-20
共2条回复

Michael_PK

2017-11-20

里面有某一行的数据类型转换有问题,你在处理的时候,比如转int类型的时候,判断下,如果失败就复制一个0或者没啥意义的值

0
0

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程