执行wordcount时每次都是map成功但reduce失败了,可能会是什么情况呢?

来源:5-8 -Java版本wordcount功能实现

qq_千帆_4

2017-09-22

 为啥我执行mapreduce的时候每次map成功reduce都是失败?txt文件和程序都没有问题,hdfs,yarn也是正常启动的状态。在每次执行之前也都删除了输出路径的文件夹。错误的提示是:Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /output/wc/_temporary/1/_temporary/attempt_1505957164428_0002_r_000000_2/part-r-00000 could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and no node(s) are excluded in this operation.


写回答

1回答

Michael_PK

2017-09-23

hdfssite副本系数配置了多少?现在的情况jps看下进程是否都在

0
1
qq_千帆_4
副本系数是1,看jps一直进程都是在的
2017-09-23
共1条回复

10小时入门大数据

【毕设】大数据零基础入门必备,轻松掌握Hadoop开发核心技能

1456 学习 · 656 问题

查看课程