consume与spark streaming

来源：5-8 Kafka Consumer API编程(重要)

weixin_慕UI3451899

2021-03-22

用consumer消费数据和后面的spark streaming都能达到效果？是不是spark streaming主要用于大数据，数据量小的话可以直接使用consumer?

写回答

1回答

Michael_PK

2021-03-23

Consumer这个是Kafka里面的概念，Kafka其实自身也有流处理的功能。

在大数据场景下，Kafka一般对接的都是实时系统，比如ss，sss，flink等，相当于kafka是一个缓冲的地方

由下游的系统去kafka中拉数据进行消费

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理，掌握两套企业级处理方案

340 学习 · 238 问题

相似问题

回答 1

回答 1

回答 1

回答 1

ss vs sss

回答 1