Spark编译问题

来源:2-7 -Spark源码编译及部署

软件工程小白菜

2020-09-13

老师你好,我用的是Spark Streaming那节课用的配置(Scala 2.12.10,Hadoop 2.6.0-cdh5.16.2,spark 3.0.0 和 maven 3.6.3)配置完pom.xml后,看到前面大部分都能成功,但是到yarn这里出现问题了,这个错误信息好像是缺少某个plugin(不是很确定):execution scala-compile-first of goal net.alchim31.maven:scala-maven-plugin:3.4.4:compile failed。我在问答区看到了类似的问题,但最后QQ上解决去了,想问下后来解决了吗?如何解决这个问题的呢?图片描述

写回答

1回答

Michael_PK

2020-09-13

关键点不到你看到的报错。而是在那你这图没截到的上面

0
3
软件工程小白菜
回复
Michael_PK
解决了,谢谢老师,已编译成功
2020-09-13
共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程