kafka flume log4j

来源：5-13 【夯实学习成果，攻克面试官】Kafka面试题

慕盖茨9116835

2023-01-30

请问下为什么不直接通过kafka api 从web server上收集并存储数据呢为什么还要用log4j先存到本地再用flume 转移？假如要加一步ETL 或者进行数据清洗是放在哪一步呀？谢谢老师

写回答

1回答

Michael_PK

2023-02-02

kafka是在大数据集群中的，webserver就是普通的机器，是没有其他的大数据组件安装的。

比如：查看新闻，你在看新闻时，就有日志产生，那么这个日志都是先到日志服务器的，后面才是将这写日志交给大数据处理，才会有后续的flume kafka spark等引擎的使用。

ETL操作一般都是在大数据分布式计算层面做的。也就是flume到hdfs，然后spark或者其他做。或者是kafka到流式引擎，在这层来做数据清洗

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1