关于块大小的问题

来源：2-10 YARN部署

慕少0127260

2022-04-27

图片描述
老师，请教一下我用sparkSql做insert的时候发现这一列的size超过了block size，如何设置这个size的大小呢，是设置哪个参数

写回答

1回答

Michael_PK

2022-04-27

file由1到n个block构成，文件498M，很正常啊

Michael_PK

慕少0127260

你自己看的你的截图，你的blocksize就是256M呢。文件是按照block拆分的，需要好好理解的下HDFS的架构。谁说的blocksize是256m，文件大小就一定不能超过256M吗？你的ch的数据丢失和这个没关系

2022-05-02

共2条回复

SparkSQL入门整合Kudu实现广告业务数据分析

大数据工程师干货课程带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

相似问题

回答 1

回答 1

回答 4

回答 1

回答 1