离线数据处理

来源：7-28 HBase物理存储模型

慕盖茨9116835

2023-02-02

若在此项目中要加一个离线处理的功能，是直接将flume收到hdfs上还是flume 到kafka再到hdfs上离线处理是长时间处理一次数据吗像半天一天也一般是会用spark处理吗还是 hive多一些谢谢。

写回答

1回答

Michael_PK

2023-02-03

你的建议很好，但是这么课程是实时处理的，所以只讲实时篇。

离线处理的如果针对sql来说，hive、spark都是可以的呢，而且现在spark版本也都兼容了hive的绝大部分的语法

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1