压缩的数据是不是有问题啊,程序报空指针异常

来源:4-16 功能开发之完成ETL数据到HBase落地的全过程

qq_越_5

2020-11-07

压缩的数据是不是有损坏啊,程序报空指针异常?运行测试数据没有问题。
图片描述
代码就是简单的读取数据,然后输出,中间没有任何处理过程。
System.setProperty(“icode”, “BE6DD1FA1FC03060”)
val input = s"hdfs://hadoop1:9000/access/20190130/*"
var logDf = spark.read.format(“com.imooc.bigdata.spark.pk”).option(“path”, input).load()
val l = logDf.count()
println(l)

写回答

1回答

Michael_PK

2020-11-07

应该是数据有问题,代码贴下看看

0
4
Michael_PK
回复
qq_越_5
真正数据也是在本地测试还是服务器测试的?
2020-11-10
共4条回复

Spark进阶 大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

查看课程