spark-3.0.0-preview-hadoop2.6.0-cdh5.15.1源码编译失败

来源:10-1 Spark概述

qq_梦也_1

2020-08-29

pk哥你好,问题同之前的spark-3.0.0-hadoop2.6.0-cdh5.15.1源码编译失败。由于之前的提问无法再发截图,为了便于交流,新增此提问,希望老师理解。

环境:
maven3.6.2
java8
scala2.12.10

spark-3.0.0-preview-hadoop2.6.0-cdh5.15.1编译指令如下:

./dev/make-distribution.sh --name 2.6.0-cdh5.15.1 --tgz -Dhadoop.version=2.6.0-cdh5.15.1 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn

编译的yarn的时候,显示错误信息如下:
图片描述

相关文件修改点如下:
1.settings(maven-3.6.2).xml

  <localRepository>/Users/meilei/imoocRepository/spark3.0.0-preview</localRepository>
<!--新增阿里云镜像-->
<mirror>
 <id>nexus-aliyun</id>
 <mirrorOf>central</mirrorOf>
 <name>Nexus aliyun</name>
 <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
  1. pom(spark-3.0.0-preview).xml
<!--修改hadoop默认版本为2.6.0-->
<!--<hadoop.version>2.7.4</hadoop.version>-->
<hadoop.version>2.6.0</hadoop.version>
<!--新增cloudera引用-->
<repository>
      <id>cloudera</id>
      <name>cloudera repository</name>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
    <!--新增hadoop-2.6相关配置(属性值参考spark-1.6.3源码中hadoop-2.6的配置,不确定是否正确)--> 
    <profile>
      <id>hadoop-2.6</id>
      <properties>
         <hadoop.version>2.6.0-cdh5.15.1</hadoop.version>
        <jets3t.version>0.9.3</jets3t.version>
        <zookeeper.version>3.4.6</zookeeper.version>
        <curator.version>2.6.0</curator.version>
      </properties>
    </profile>

3.make-distribution(spark-3.0.0-preview).sh

#修改MVN路径
#MVN="$SPARK_HOME/build/mvn"
MVN="$MAVEN_HOME/bin/mvn"

想问一下老师,除了上面的修改点外,还要修改哪些配置?下载的解压后的spark-3.0.0-preview源码是否要修改?编译指令是否需要其他参数?弄了几天,一直没编译成功,希望pk哥指点一下,谢谢。

写回答

2回答

Michael_PK

2020-08-29

那个error信息就是兼容性不够了,要改才行

0
1
qq_梦也_1
明白。
2020-08-30
共1条回复

Michael_PK

2020-08-29

上次那个帖子也是你的吧,这个是源代码要修改,不修改编译不过去的,找那个issue的解决方案,去找没?必须要修改源码才行,直接编译不过的。

0
7
qq_梦也_1
回复
Michael_PK
好的,明白。
2020-08-31
共7条回复

Spark进阶 大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

查看课程