启动yarn后，jps查看不到namenodemanager

来源：1-20 -YARN环境搭建及提交作业到YARN上运行

qq_慕后端93793

2020-01-20

启动yarn后，jps查看不到namenodemanager，而且启动时并没有报错，查看了日志，也没有错误。检查了配置，也没有问题。这是为什么？

输出的日志
图片描述

写回答

2回答

qq_慕后端93793

提问者

2020-01-20

2020-01-20 22:57:12,491 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager

java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.ShuffleHandler not found

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2381)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceInit(AuxServices.java:121)

at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceInit(ContainerManagerImpl.java:236)

at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:318)

at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:562)

at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:609)

Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.ShuffleHandler not found

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2349)

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2373)

... 10 more

Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.ShuffleHandler not found

at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2255)

at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2347)

... 11 more

qq_慕后端93793

提问者

2020-01-20

试了网上的方法，添加cpu核心数，添加内存容量，等等，并没有解决问题。

Michael_PK

qq_慕后端93793

那估计还是环境哪里有问题

2020-01-21

共6条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程

相似问题

关于提交作业到Spark on yarn cluster时，出现如下问题？？？

回答 1

hive执行sql卡住了

回答 2

提交作业到YARN上运行不了，也不生成output

回答 2

数据清理作业运行到yarn上，执行不成功

回答 1

error initializing SparkContext这个怎么解决？

回答 1

打开慕课网App查看更多内容