运行example中的例子没问题,运行提交的NetworkWordCountApp提示scala相关类没找到
来源:6-7 Spark部署及服务器端测试

fuyang7412
2022-11-15
PK大哥,我在idea上运行你的那个NetworkWordCountApp是没问题的,但是提交到服务器上,就不行了,提示scala一些类找不到,可是我该安装的都安装了啊
我没有按照你的教学版本去跑spark,我是从apache官网下载的最新版本,spark 3.3.1,scala安装的是2.13.9,hadoop安装的是3.2.4,这些版本官网上应该能匹配啊,你看看可能是因为啥
运行命令:
bin/spark-submit \
--name pk-network-wc \
--class com.imook.spark.NetworkWordCountApp \
--master yarn \
/hadoop/data/lib/ywang-spark-1.0-SNAPSHOT.jar
写回答
1回答
-
Michael_PK
2022-11-18
看起来是scala版本不匹配。检查:
1)你的idea中使用的spark对应的scala版本是啥
2)服务器上spark对应的scala版本是啥
012022-11-18
相似问题