找不到ipRegion.xlsx文件

来源：9-25 -数据清洗作业运行到YARN上

慕尼黑5219940

2018-11-06

spark-submit --class com.demo.spark.log.SparkStatCleanJob --master local[2] --files /home/xingtb/lib/ipDatabase.csv,/home/xingtb/lib/ipRegion.xlsx sql-1.0-jar-with-dependencies.jar

图片描述
我用–files 最后还是找不到这个ipRegion.xlsx，这是什么原因啊

打包后jar包里面的内容:
图片描述

写回答

2回答

慕尼黑5219940

提问者

2018-11-06

打包成jar以后，实际上文件是存在于jar这个文件里面的资源文件。在磁盘是没有真实路径的。所以通过 this.getClass().getResource("")；方法无法正确获取文件。

而InputStream inputStream=this.getClass().getResourceAsStream("");会指定要加载的资源路径与当前类所在包的路径一致。

只能重新源码了

Michael_PK

我有点记不清了，提交的时候使用files指定这文件的所在路径好像可以，前提是这文件也传到Linux上去

2018-11-07

共1条回复

Michael_PK

2018-11-06

这个文件在你的项目里面的resources下有吗？注意resouces文件夹的类型

慕尼黑5219940

有的啊，我是windows的，本地保存parquet文件有问题，所有我就打包放到Linux上去运行了，结果一直报这个文件找不到

2018-11-06

共1条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程

相似问题

ipRegion.xlsx这个资源引用不到

回答 3

在linux中运行数据清洗程序，抱找不到类，但是我明明已经把他添加到本地仓库了啊

回答 2

HDFS如何应对对大量小文件这种情况？

回答 1

linux上运行jar包，默认从hdfs上找，怎样改从电脑文件中找

回答 1

sparkContext.textFile找不到路径

回答 2

打开慕课网App查看更多内容