生产上,存入HDFS的一个文件一般多大?

来源:3-5 HDFS副本机制

程研板

2021-05-29

我的看法:

1.太小,namenode负担很重。

2.太大,副本为3的话,只保存在3个节点,造成其他结点数据分布不均匀。

写回答

1回答

Michael_PK

2021-05-29

HDFS不怕文件大,因为都是按blocksize自动切的

反之怕文件小,小文件过多,nn的内存压力就大

太大,副本为3的话,只保存在3个节点,造成其他结点数据分布不均匀。这个,HDFS存储有自身的均衡功能的。存数据到hdfs时,hadoop能知道存到哪个节点上更合适的了。


1
3
Michael_PK
回复
程研板
传的时候自己就会知道传哪 然后记录在元数据信息中。
2021-05-30
共3条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2397 学习 · 902 问题

查看课程