​运行OffsetApp03这个类出现异常

来源:2-4 Scala部署

BillyWebber

2021-01-02

运行OffsetApp03这个类的时候出现

Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultUseCacheForAllThreads()Z
at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:168)
at org.apache.spark.network.util.NettyUtils.getSharedPooledByteBufAllocator(NettyUtils.java:138)
at org.apache.spark.network.server.TransportServer.<init>(TransportServer.java:74)
at org.apache.spark.network.TransportContext.createServer(TransportContext.java:157)
at org.apache.spark.rpc.netty.NettyRpcEnv.startServer(NettyRpcEnv.scala:125)
at org.apache.spark.rpc.netty.NettyRpcEnvFactory.$anonfun$create$1(NettyRpcEnv.scala:489)
at org.apache.spark.rpc.netty.NettyRpcEnvFactory.$anonfun$create$1$adapted(NettyRpcEnv.scala:488)
at org.apache.spark.util.Utils$.$anonfun$startServiceOnPort$2(Utils.scala:2256)
at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:158)
at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:2248)
at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:493)
at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:266)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:189)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:267)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:442)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:851)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:85)
at com.imooc.bigdata.offset.OffsetApp03$.main(OffsetApp03.scala:22)
at com.imooc.bigdata.offset.OffsetApp03.main(OffsetApp03.scala)
Disconnected from the target VM, address: '127.0.0.1:64956', transport: 'socket'

貌似是显示是netty的版本冲突,但我搜遍了项目里的代码貌似也没有netty相关的pom包,您的代码里有涉及netty的东西吗?(我的Kafka已能正常启动,Kafka的IP和端口也没有写错,kafka里也有my-replicated-topic这个topic)请问是什么原因呢?

http://img.mukewang.com/szimg/5fef58ee097ce93514340871.jpg

写回答

2回答

BillyWebber

提问者

2021-01-02

exclude掉对应的pom文件以后依旧是报这个错

//img.mukewang.com/szimg/5ff038a6092bc9bb15001022.jpg




0
0

Michael_PK

2021-01-02

你这截图都没有error没啥问题。就是netty上了。netty肯定是被动依赖,不是pom里面直接写的,而是pom里面写的依赖中依赖的netty。pom文件中右侧试图中能看到谁引用了netty,找到后,exclude掉,然后在手工加到pom。这是Maven的基本知识点

0
6
BillyWebber
回复
Michael_PK
既然知道有这个问题,您提供的教程代码就应该及时说明和更新了。。。
2021-01-03
共6条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程