部署多个集群节点，计算时只有一个节点执行任务

首页课程实战体系课手记专栏慕课教程

部署多个集群节点，计算时只有一个节点执行任务

来源：1-1 课程介绍

温柔的微笑

2020-05-16

图片描述
我这边只有一个17M的文件要导入数据，但是只被一个节点把数据读完了其他机器无法工作

写回答

1回答

Michael_PK

Michael_PK

2020-05-16

17m的数据连一个block都不到呢，肯定就是一个task处理

0

2

Michael_PK

回复

温柔的微笑

那你就想办法调整你数据的切片规则，他只认大小不管你多少数据。

2020-05-16

共2条回复

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

请教老师，假如我有1万关键词要统计，用scala写，需要用到多线程吗？

回答 1

回答 1

请教老师如何日志中的增量数据呢？

回答 1

sparkstreming消费kafka算一个消费者吗？

回答 1

rowkey的设计问题

回答 2

打开慕课网App查看更多内容