如何使用sss同时满足ss和sss的需求

来源:1-1 课程概览

慕盖茨9116835

2023-02-06

假如只用sss来满足所有的统计需求,如何将Dataset同时处理两个需求呢. ss中可以处理完 最后用 ssc.start()
ssc.awaitTermination()
sss中 spark session应该在最后用什么命令呢 谢谢

写回答

1回答

Michael_PK

2023-02-06

sss是用于是偏向实时的,dataset是偏离线的,这两个的适用场景不太一样。

当然,也是可以混用的。

你要用SparkSQL的东西,只要拿到入口SparkSession就可以操作呢,SSS的入口也是SparkSession,那Dataset原来如何使用,现在还是一样的使用

1
5
Michael_PK
回复
慕盖茨9116835
最简单的拆分成多个作业就可以
2023-02-10
共5条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程