生产上，存入HDFS的一个文件一般多大？

来源：3-5 HDFS副本机制

程研板

2021-05-29

我的看法：

1.太小，namenode负担很重。

2.太大，副本为3的话，只保存在3个节点，造成其他结点数据分布不均匀。

写回答

1回答

Michael_PK

2021-05-29

已采纳

HDFS不怕文件大，因为都是按blocksize自动切的

反之怕文件小，小文件过多，nn的内存压力就大

太大，副本为3的话，只保存在3个节点，造成其他结点数据分布不均匀。这个，HDFS存储有自身的均衡功能的。存数据到hdfs时，hadoop能知道存到哪个节点上更合适的了。

Michael_PK

程研板

传的时候自己就会知道传哪然后记录在元数据信息中。

2021-05-30

共3条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

2397 学习 · 902 问题

相似问题

回答 2

回答 1

回答 3

回答 1

回答 2