使用spark-submit 提交作业报错

来源:9-25 -数据清洗作业运行到YARN上

WGray0

2017-11-28

在清洗的作业里,使用 --files 

依然有FileNotFoundException  ......   spark-1.0-jar-with-dependencies.jar!/ipRegion.xlsx (No such file or directory)

试过很多次,--files两个文件的路径保证是正确的,使用的mvn assembly:assembly 打包的。

在IDEA上都完全可以完成任务 

写回答

1回答

Michael_PK

2017-11-28

这个操作一定要按照视频上讲的顺序来,你到ui页面上看看是否file生效没

0
2
Michael_PK
回复
WGray0
运行环境不同,有差别的
2017-11-29
共2条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程