wordcount编译错误

来源:3-4 实战Wordcount

qq_慕运维8348849

2020-02-15

这是我的代码
import org.apache.spark.SparkContext
object WordCount {
def main(args: Array[String]): Unit={
var sc = new SparkContext(“local”,“wordcount”)
var file = sc.textFile("/1np/spark-3.0.0-preview2-bin-hadoop2.7/LICENSE")
file.flatMap(.split(" ")).map((,1)).reduceByKey(+).foreach(println(_))
}
}

这是编译错误
Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray;atorg.apache.spark.SparkContext.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray; at org.apache.spark.SparkContext.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray;atorg.apache.spark.SparkContext.(SparkContext.scala:2512)
at org.apache.spark.SparkContext.<clinit>(SparkContext.scala)atWordCount.<clinit>(SparkContext.scala) at WordCount.<clinit>(SparkContext.scala)atWordCount.main(WordCount.scala:4)
at WordCount.main(WordCount.scala)

Process finished with exit code 1

写回答

1回答

Wotchin

2020-02-16

看着感觉像是scala的依赖有问题,看看是不是scala没有倒进去,同时验证一下和spark版本是否匹配。如果还不行,用spark shell尝试看一下

0
4
Wotchin
回复
qq_慕运维8348849
建议先按照课程中的版本,每个spark版本有对应的scala版本要求,在spark shell 中可以看到相关信息
2020-02-16
共4条回复

掌握Spark机器学习库 大数据开发技能更进一步

案例+原理+代码 提升大数据处理能力

476 学习 · 81 问题

查看课程