追加写到HDFS时，会才产生许多小文件，能不能写在一个文件
来源：10-6 -SaveMode
慕粉3334211
2018-09-02
大哥，您好！result.write.format("text") .mode("append").partitionBy("d") .save("hdfs://192.168.199.150:8020/user/hive/warehouse/hive.db/test")。当我采用追加写到HDFS时，会才产生许多小文件，特别是在做流数据项目的时候，能不能写在一个文件？谢谢！
写回答
1回答
-
Michael_PK
2018-09-02
你可以后续再合并。当然写出来的时候使用coalese算子可以先合并下
042018-09-02
相似问题
日志文件多的问题
回答 2
HDFS是否支持同时写入多个不同的文件呢
回答 1
HDFS如何应对对大量小文件这种情况？
回答 1
hdfs 的磁盘 会不会浪费
回答 2
找不到ipRegion.xlsx文件
回答 2