WordCount运行报错

来源:3-4 实战Wordcount

闰土在线抓猹

2019-12-05

老师您好,我运行以下代码:

import org.apache.spark.SparkContext
object WordCount{
 def main(args: Array[String]):Unit= {
   val inputFile =  "file:///Users/alex/Desktop/RLPL/test.txt"
   val sc = new SparkContext("local","WordCount")
   sc.setLogLevel("ERROR")
   val textFile = sc.textFile(inputFile)
   val wordCount = textFile.flatMap(line => line.split(",")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
   wordCount.foreach(println)
 }
}

运行老报错:
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.wrapRefArray([Ljava/lang/Object;)Lscala/collection/mutable/WrappedArray;
	at org.apache.spark.SparkContext$.<init>(SparkContext.scala:2444)
	at org.apache.spark.SparkContext$.<clinit>(SparkContext.scala)
	at WordCount$.main(WordCount.scala:7)
	at WordCount.main(WordCount.scala)

我在pom文件中配置的版本是:

<properties>
   <spark.version>2.4.4</spark.version>
   <scala.version>2.11</scala.version>
</properties>


不知道是哪里出了问题


写回答

2回答

Wotchin

2019-12-13

你这个环境存在问题呀,我的这里用的是scala,通过idea导入的包。这里用maven导入的存在问题,建议先按照教程试一试,把代码原理都理解ok了再换用maven或者sbt搭建环境哈~

1
1
闰土在线抓猹
非常感谢!
2019-12-16
共1条回复

墨尽天明

2020-01-03

你好 请问下 这个问题解决了吗 怎么解决的?

0
0

掌握Spark机器学习库 大数据开发技能更进一步

案例+原理+代码 提升大数据处理能力

476 学习 · 81 问题

查看课程