运行example中的例子没问题,运行提交的NetworkWordCountApp提示scala相关类没找到

来源:6-7 Spark部署及服务器端测试

fuyang7412

2022-11-15

PK大哥,我在idea上运行你的那个NetworkWordCountApp是没问题的,但是提交到服务器上,就不行了,提示scala一些类找不到,可是我该安装的都安装了啊
我没有按照你的教学版本去跑spark,我是从apache官网下载的最新版本,spark 3.3.1,scala安装的是2.13.9,hadoop安装的是3.2.4,这些版本官网上应该能匹配啊,你看看可能是因为啥

运行命令:

bin/spark-submit  \
--name pk-network-wc  \
--class com.imook.spark.NetworkWordCountApp  \
--master yarn \
/hadoop/data/lib/ywang-spark-1.0-SNAPSHOT.jar

图片描述

写回答

1回答

Michael_PK

2022-11-18

看起来是scala版本不匹配。检查:

1)你的idea中使用的spark对应的scala版本是啥

2)服务器上spark对应的scala版本是啥

0
1
fuyang7412
好的,这个问题已解决了,我下载了一个别的版本的spark,可以运行了
2022-11-18
共1条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程