livenode的个数不正确

来源：9-6 提交作业到Hadoop集群上运行

EaApple

2020-07-03

1 在三个虚拟机中，启动了hdfs和yarn的进程，但在hdfs的web端浏览只有两个livenode.一个datanode缺失。
2 yarn的网页端存活节点正确为三个.
3 每一个单独的虚拟机中执行jps，web端显示缺失的虚拟机，存在有datanode进程。
4 每一台虚拟机上的slaves设置都是
hadoop000
hadoop001
hadoop002
且已经在hosts中重复检查映射无误。

请问老师是什么原因呢。

写回答

2回答

Michael_PK

2020-07-03

这样子，你通过UI上看下是哪个机器的DN丢失，然后去那个节点上把已经存在的DN进程kill掉，然后重启。

在做这件事情之前，请确保检查如下操作：

1）每个机器的hadoop相关配置必须一致

2）每个机器的hostname必须要正确

3）每个机器的hosts务必一致

EaApple

Michael_PK

老师找到问题原因了，没形成查看日志的习惯，白做了很多冤枉事情。我在总出问题的那个节点上查看了日志，爆出一下错误 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.1.20, datanodeUuid=20fe9342-090d-460b-97e5-c84110a4b82b, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-8061767a-2260-4041-aeeb-9df94cbb6c92;nsid=561290954;c=0) is attempting to report storage ID 20fe9342-090d-460b-97e5-c84110a4b82b. Node 192.168.1.21:50010 is expected to serve this storage.2号节点和3号节点使用的storegeId冲突了。找到原因，后面我继续去查一下资料，应该能解决。

2020-07-03

共4条回复