foreachpartitions里也要调用foreach吧，最终都是要一条一条处理

首页课程实战体系课手记专栏慕课教程

foreachpartitions里也要调用foreach吧，最终都是要一条一条处理

来源：8-3 调优之算子的合理选择

pookly

2019-11-25

每个迭代器创建个连接对象，我理解的

写回答

1回答

Michael_PK

Michael_PK

2019-11-25

foreach part tion是一个part tion为单位进行处理，如果数据量很大，肯定会出现oom

0

0

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

请教老师，我在hbase中建了30多列，几十万行了

回答 1

部署多个集群节点，计算时只有一个节点执行任务

回答 1

sparkstreming消费kafka算一个消费者吗？

回答 1

请教老师，我在hbase中建了30多列，几十万行了，三十几列

回答 1

如何保证 Alluxio 和 Hdfs中的数据一致？

回答 1

打开慕课网App查看更多内容