使用foreachPartition 如果有排序关系，是否会出现错误的现象，如果并行处理，是否会产生错误

首页课程实战体系课手记专栏慕课教程

使用foreachPartition 如果有排序关系，是否会出现错误的现象，如果并行处理，是否会产生错误

来源：1-1 导学

慕运维7479159

2018-01-27

使用foreachPartition 如果有排序关系，是否会出现错误的现象，如果并行处理，是否会产生错误

写回答

1回答

Michael_PK

Michael_PK

2018-01-27

已采纳

是的，最多只能partition内排序，这个算子

0

1

慕运维7479159

非常感谢！

2018-01-27

共1条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

使用SparkSQL做简单业务计算时如何合理的分区读取以及合理的使用分区？

回答 1

hdfs 的磁盘会不会浪费

回答 2

老师请教一下关于集群机器数量和处理速度方面的问题

回答 1

老师你好我使用saprk-shell 时候总是报这个错误如图；

回答 4

RDD与Dataframe相互转化的课时一按照老师给的代码在IDE里面run会报如下错误，该怎么处理？如果打包放在机器上运行就不会报错

回答 3

打开慕课网App查看更多内容