hdfs 的磁盘 会不会浪费

来源:1-25 -Hive基本使用

qq_Mel_0

2017-12-28


hadoop 是按 block 存储的,

当时有 hive 的时候,在创建了表 并录入了数据,

底层是什么样子的

会不会造成大量的磁盘浪费


写回答

2回答

Michael_PK

2017-12-28

如果这点空间都没有,还处理啥大数据!定期清理是需要的,但是不用长期关注这个问题

0
0

qq_Mel_0

提问者

2017-12-28

不知道是不是我理解的有问题:

我的理解是这样的,hdfs 每次写入 都会是固定的快,   但是我插入少量数据后,就关闭连接,下次插入数据的时候,是不是就重新插入新的块了,如果我的频繁的这么操作,肯定是有问题的,另外这些数据肯定是重要数据,   你说的清理 应该是整理吧  比如重新打包一并插入。

0
6
Michael_PK
回复
qq_Mel_0
看看后期慕课网的安排吧,应该还会有视频的
2017-12-28
共6条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程