将数据清洗存储到目标地址报错

来源:9-10 -数据清洗存储到目标地址

进击的大黄鸭

2017-07-16

Error while encoding: java.lang.RuntimeException: java.lang.Integer is not a valid external type for schema of string

找了半天也没找到哪里错了


后来我怀疑是parseLog方法中的错误 导致catch到了Row(0),我把try catch去掉了,于是又报了数组越界的错

http://szimg.mukewang.com/596c8bbe0001b3af05710078.jpghttp://szimg.mukewang.com/596c8bbe0001f14603160061.jpg

http://szimg.mukewang.com/596c8bbe00018b8106710057.jpg

可是并没有发现哪里越界了,这回该怎么解决呢?

写回答

3回答

Michael_PK

2017-07-16

你的地址咋写的

0
16
进击的大黄鸭
回复
qq_不运动就会变忧郁_0
是的 我也是这样
2017-07-21
共16条回复

进击的大黄鸭

提问者

2017-07-19

我怀疑是catch到了row(0),所以报这个错,把try catch删掉后,报了数组越界的错,数组越界后我debug了下,前面完全没问题,我怀疑是数据的问题,之后我就把access.log这个日志截取前20行,就不报错了。截取1000行也不报错,目前是这么解决的,有同学遇到同样问题可以想老师说的,去linux上跑一下试试。

1
0

qq_不运动就会变忧郁_0

2017-07-21

我把catch里面的row(0) 改成row("","",0l,0l,"","","","")就木有报错了。。但是还是觉得奇怪,觉得前10000数据没有问题诶。。。

0
2
qq_不运动就会变忧郁_0
回复
进击的大黄鸭
是啊我也觉得奇怪。不知道怎么去找那个不对的数据
2017-07-21
共2条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程