livenode的个数不正确

来源:9-6 提交作业到Hadoop集群上运行

EaApple

2020-07-03

1 在三个虚拟机中,启动了hdfs和yarn的进程,但在hdfs的web端浏览只有两个livenode.一个datanode缺失。
2 yarn的网页端存活节点正确为三个.
3 每一个单独的虚拟机中 执行jps,web端显示缺失的虚拟机,存在有datanode进程。
4 每一台虚拟机上的slaves设置都是
hadoop000
hadoop001
hadoop002
且已经在hosts中重复检查映射无误。

请问老师是什么原因呢。

写回答

2回答

Michael_PK

2020-07-03

这样子,你通过UI上看下是哪个机器的DN丢失,然后去那个节点上把已经存在的DN进程kill掉,然后重启。


在做这件事情之前,请确保检查如下操作:

1)每个机器的hadoop相关配置必须一致

2)每个机器的hostname必须要正确

3)每个机器的hosts务必一致

0
4
EaApple
回复
Michael_PK
老师找到问题原因了,没形成查看日志的习惯,白做了很多冤枉事情。我在总出问题的那个节点上查看了日志,爆出一下错误 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.1.20, datanodeUuid=20fe9342-090d-460b-97e5-c84110a4b82b, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-8061767a-2260-4041-aeeb-9df94cbb6c92;nsid=561290954;c=0) is attempting to report storage ID 20fe9342-090d-460b-97e5-c84110a4b82b. Node 192.168.1.21:50010 is expected to serve this storage.2号节点和3号节点使用的storegeId冲突了。找到原因,后面我继续去查一下资料,应该能解决。
2020-07-03
共4条回复

EaApple

提问者

2020-07-03

//img1.sycdn.imooc.com/szimg/5eff1c6d099fa86818420824.jpg

补充截图

0
0

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2397 学习 · 902 问题

查看课程