Flume写入Hive

来源：5-14 【讨论题】谈谈你对Kafka的认识

Panda_io

2021-11-28

请问老师，从您的工作经验来看，Flume写入HIve会不会比写入Hbase慢些呀？我没有用大量数据具体实验过，从学了您这么多课来看，hive主要还是mapreduce在操作我觉得肯定没有flume写入到Hbase快

写回答

1回答

Michael_PK

2021-11-30

一般不会flume直接到hive的，因为flume过来的数据不一定是规整后的数据，很大可能有脏数据啥的。

所以需要对flume的数据进行ETL后，再落入hive中

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1