windows下RDD和DataFrame转换 数值类型转换出错

来源:6-6 -DataFrame与RDD互操作方式一

慕田峪9478274

2018-07-14

http://img.mukewang.com/szimg/5b495bf00001732f09480426.jpg

老师请看上面的代码,此处age如果是int类型就会报错,改成String类型就可以正常输出结果,错误日志如下图

http://img.mukewang.com/szimg/5b495e360001176217610202.jpg

写回答

2回答

慕田峪9478274

提问者

2018-07-15

//img.mukewang.com/szimg/5b4a8b9600016a6408890379.jpg

此处加上trim(),运行完美通过

1
0

Michael_PK

2018-07-14

那是因为有脏数据,你在梳理过程中要进行try catch才行

0
3
慕田峪9478274
回复
Michael_PK
感谢老师深夜回复,已经找到原因了,在转换之前需要在line(1)后面加trim()去掉空格
2018-07-15
共3条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程