spark-submit报错

来源:2-16 local模式下使用spark-submit提交Spark应用程序

慕慕8212658

2020-05-30

求问,我使用的是linux直接当做本地环境在提交程序的时候报java.lang.ClassNotFoundException的错误
图片描述
这个SparkWordCount就是我直接在IDEA 里reference的。

之后,我按照别的同学吧scala插件导入

<plugin>
  <groupId>org.scala-tools</groupId>
  <artifactId>maven-scala-plugin</artifactId>
  <version>2.15.2</version>
  <executions>
      <execution>
          <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
          </goals>
      </execution>
   </executions>
</plugin>

图片描述
但是编译这边直接报了找不到(Plugin ‘org.scala-tools:maven-scala-plugin:2.11.8’ not found )。。。查了半天都是说的scala和win版本不一样,但是我用的linux当做本地环境,不知道为什么 求解答 感谢

写回答

1回答

Michael_PK

2020-05-30

新建Scala项目的时候就自带了相关插件,不需要其他配置。找不到类只有两个可能,1是你类名写错了,2是你的jar包里就没打进去你的那个类。按照这两个思路去排查就行了

0
0

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

查看课程