生产上,存入HDFS的一个文件一般多大?
来源:3-5 HDFS副本机制

程研板
2021-05-29
我的看法:
1.太小,namenode负担很重。
2.太大,副本为3的话,只保存在3个节点,造成其他结点数据分布不均匀。
写回答
1回答
-
HDFS不怕文件大,因为都是按blocksize自动切的
反之怕文件小,小文件过多,nn的内存压力就大
太大,副本为3的话,只保存在3个节点,造成其他结点数据分布不均匀。这个,HDFS存储有自身的均衡功能的。存数据到hdfs时,hadoop能知道存到哪个节点上更合适的了。
132021-05-30
相似问题
想请问一下老师yarn的问题
回答 2
合并hdfs小文件
回答 1