有一个问题我有些想不明白，sparkSQL和直接将数据转化成传统的map，List等集合再进行数据统计优势在哪里？

首页课程实战体系课手记专栏慕课教程

有一个问题我有些想不明白，sparkSQL和直接将数据转化成传统的map，List等集合再进行数据统计优势在哪里？

来源：1-1 课程概览

BillyWebber

2022-08-28

输入正文

写回答

1回答

Michael_PK

Michael_PK

2022-08-31

可以具体举个场景对应的例子吗？我没太理解你这个问题的意思

0

2

Michael_PK

回复

BillyWebber

你的数据转成list，list是一个集合，本身并没有分布式计算的并行处理的能力。如果使用spark去处理，不管是core还是streaming还是sql，只要数据接入进来后，默认都具备分布式计算的能力的，

2022-09-04

共2条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

可视化界面读取不到数据

回答 1

流处理如何按某个用户某个小时聚合再入库

回答 1

kafka的数据，如何传递到结构化流？

回答 1

stream 从kafka 接收数据

回答 1

Flume和Kafka接收到数据后等待时间过长是什么原因呢？

回答 1

打开慕课网App查看更多内容