dataframe 有一个repartition方法可以传入一个数字，请问这个方法的效果和hdfs的分块，和压缩文件的切分（split）有什么联系吗？

首页课程实战体系课手记专栏慕课教程

dataframe 有一个repartition方法可以传入一个数字，请问这个方法的效果和hdfs的分块，和压缩文件的切分（split）有什么联系吗？

来源：4-5 -Spark SQL愿景

小刚asdf

2018-06-22

写回答

1回答

Michael_PK

Michael_PK

2018-06-22

已采纳

这个参数的意思建议你打开源码看看方法的注释。它是将数据重新打散

0

3

小刚asdf

非常感谢！

2018-06-22

共3条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

hdfs 的磁盘会不会浪费

回答 2

HDFS如何应对对大量小文件这种情况？

回答 1

第二种方式使用StructType的方式也显示的指定了列名和类型相当于也需要知道列和类型，没明白两者的应用场景

回答 2

使用SparkSQL做简单业务计算时如何合理的分区读取以及合理的使用分区？

回答 1

老师请教一下关于集群机器数量和处理速度方面的问题

回答 1

打开慕课网App查看更多内容