--files 添加了ip解析的2个文件，city还是解析出来是“未知”

首页课程实战体系课手记专栏慕课教程

--files 添加了ip解析的2个文件，city还是解析出来是“未知”

来源：9-25 -数据清洗作业运行到YARN上

XquanZeng

2019-04-22

清洗作业提交到YARN上运行，spark-submit时通过–files指定了ipDatabase.csv、ipRegion.xlsx文件，命令如下：
cd /home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0
./bin/spark-submit
–class com.imooc.log.LogCleanJobOnYARN
–name LogCleanJobOnYARN
–master yarn
–executor-memory 1G
–num-executors 1
–files /home/hadoop/lib/ipDatabase.csv,/home/hadoop/lib/ipRegion.xlsx
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar
hdfs://hadoop01:8020/imooc/input/* hdfs://hadoop01:8020/imooc/clean

执行结果查看：city解析不出来
图片描述

写回答

1回答

Michael_PK

Michael_PK

2019-04-22

这两个文件在resources下有吗？resources的类型对不？检查下

0

5

Michael_PK

回复

XquanZeng

那去UI上检查下files是否传到yarn上去了。以前很多学员null就是包打的有问题导致

2019-04-22

共5条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 1

IP解析类解析出来无结果,无报错

回答 3

如何才能解析IP到市啊

回答 1

ip 解析结果是未知 res也是res类型了包也导了

回答 1

我在windows idea下测试ip解析工具类，出现如下错误java.io.FileNotFoundException:

回答 2

打开慕课网App查看更多内容