具体需要哪些依赖,以及相关版本

来源:8-4 快速开发第一个Structured Streaming应用程序

酱汁怪兽

2022-03-18

已下载了
1、spark-core依赖
2、spark-sql依赖
3、spark-catalyst依赖
4、antlr4依赖
5、antlr4-runtime依赖
6、janino依赖
但还是未解决wc.scala运行问题

下载这么多的原因依次是:
1、要安装spark-sql依赖,必须有spark-core依赖

2、下载spark-catalyst_2.11的原因

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/StaticSQLConf$
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.internal.StaticSQLConf$

3、下载antlr4、antlr4-runtime的原因

Exception in thread "main" java.lang.NoClassDefFoundError: org/antlr/v4/runtime/misc/ParseCancellationException
Caused by: java.lang.ClassNotFoundException: org.antlr.v4.runtime.misc.ParseCancellationException

4、下载janino的原因

java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
Caused by: java.lang.ClassNotFoundException: org.codehaus.janino.InternalCompilerException

目前,依然报错:

java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
Caused by: java.lang.ClassNotFoundException: org.codehaus.janino.InternalCompilerException

为什么呢? 我看视频里依赖只安装了spark-sql依赖?我这里就不停的报缺少各种依赖呢?

写回答

1回答

Michael_PK

2022-03-19

你到git上找到上课用的pom文件,sss的只需要spark-sql依赖,其他的依赖默认自动带下来的。

请保持和课程用的版本一致

0
0

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程