ETL为什么会有小文件？是不是因为 ETL只有Map操作，Map端会输出很多小文件。

首页课程实战体系课手记专栏慕课教程

ETL为什么会有小文件？是不是因为 ETL只有Map操作，Map端会输出很多小文件。

来源：11-3 小文件怎么产生的

张同学QQQ

2022-03-10

图片描述

写回答

1回答

Michael_PK

Michael_PK

2022-03-12

1）你的输入文件如果有小的，map进去在出去那么可能就有小的

2）输入文件中如果有脏数据，要过滤掉，所以也可能会有小的

0

0

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手，掌握数据处理中ETL应用，轻松进军大数据

2397 学习 · 902 问题

相似问题

合并hdfs小文件

回答 1

map输出顺序

回答 2

生产上，存入HDFS的一个文件一般多大？

回答 1

关于 hdfs 合并小文件

回答 1

etl过程

回答 2

打开慕课网App查看更多内容