集群之后,上传和读取都报错,但是删除可以成功

来源:3-11 Java API操作HDFS文件系统

精慕门2461088

2017-10-31

伪分布的时候都是正常,集群之后上传报错(一台namenode ,3台datanoode 阿里云)

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/c.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 3 datanode(s) running and 3 node(s) are excluded in this operation

读取的时候报错

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-466319287-192.168.1.85-1508831349321:blk_1073741899_1075 file=/tmp/urltest.txt


datanode都是活的,防火墙也全部都关闭了,在主机上操作一切正常,但一到windows上用javaapi上传和读取就会报错吗,网上也找了好多方法试了都不行。难道是完全分布式要在windows上配置什么文件吗?搞了两天了,实在无能为力了,老师求帮助啊啊,,,

写回答

2回答

WGray0

2017-11-03

你试试 把 /etc/hosts 对应的ip和主机中的ip改成远程或者局域网可以访问的ip,如192.168..。重新启动hdfs试试,反正我是解决了

0
0

Michael_PK

2017-10-31

这是一个非常常见的问题,百度一搜一大堆,参考:http://blog.csdn.net/oLevin/article/details/53290290

0
3
Michael_PK
回复
精慕门2461088
你尝试编程的时候把hdfs的配置文件都放到resources下,通过代码把配置文件加载上去。这就是我上课为什么不用集群的目的,而是把集群单独放到后面讲解,无形中给自己设置障碍,用单节点和集群对于学习就没有任何影响
2017-10-31
共3条回复

10小时入门大数据

【毕设】大数据零基础入门必备,轻松掌握Hadoop开发核心技能

1456 学习 · 656 问题

查看课程