Spark编译报错

来源:2-7 -Spark源码编译及部署

Kameimooc

2021-05-17

图片描述
执行命令后编译报错。根据给的网址说是POM文件问题,这个怎么设置呢?https://cwiki.apache.org/confluence/display/MAVEN/UnresolvableModelException
./dev/make-distribution.sh --name 2.6.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0

写回答

1回答

Michael_PK

2021-05-17

1) 你查看下spark的pom文件,是否支持-Phadoop2.6呢,编译命令不是所有版本都一样的,要对应官网和源码的pom.xml中的才行

2) 你编译的机器最好不要有其他在跑的进程。


所以建议:在学习课程时尽量使用课程中的软件版本,学完之后,想换其他版本再换,不然会有各种不同的问题,这就需要根据我的思路自己来解决了

0
2
Michael_PK
回复
Kameimooc
你的vm是什么版本,打不开很大可能是vm版本太高了,使用10、11的版本试试。spark所有的下载:https://github.com/apache/spark/releases
2021-05-17
共2条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程