spark源码编译错误

来源:5-6 -Spark环境搭建

慕运维8589058

2017-12-20

按慕课网手记的步骤编译源码

scala2.10 hadoop2.8.2 spark 2.2.0

命令是这个:

make-distribution.sh --name 2.8.2 --tgz -Pyarn -Phadoop-2.8 -Phive -Phive-thriftserver -Dhadoop.version=2.8.2

结果好像无法编译,报这个错误:

VERSION='[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/NoPluginFoundForPrefixException'

错误截图已附上:http://img.mukewang.com/szimg/5a3a10c70001511d07450441.jpg


我感觉我还有哪里配置错误,或者scala版本问题。只是在网上博客里没找到解答。大神求救

写回答

1回答

Michael_PK

2017-12-20

scala建议用2.11的版本,能否支持Hadoop2.8的profile也确定下!建议按照上课的版本来,否则各种问题兼容性可能有不同

0
4
Michael_PK
回复
慕运维8589058
编不过去就先不编译,我提供的环境中有spark的安装包,直接用就行,为什么要卡在一个不是必须的地方呢
2017-12-21
共4条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程