kafka的数据,如何传递到结构化流?

来源:9-7 将统计结果输出到Redis

酱汁怪兽

2022-04-02

描述:
kafka的topic是zhang-replicated-topic

开启的服务有:
(1)dfs
(2)yarn
(3)zookeeper
(4)master
(5)多broker的kafka
(6)nohup java -jar log-web-0.0.1-SNAPSHOT.jar

[hadoop@spark000 sbin]$ jps -m
9408 Kafka /home/hadoop/app/kafka_2.12-2.5.0/config/server-zhang1.properties
9829 Kafka /home/hadoop/app/kafka_2.12-2.5.0/config/server-zhang2.properties
7656 NodeManager
9928 Master --host spark000 --port 7077 --webui-port 8080
8633 QuorumPeerMain /home/hadoop/app/zookeeper-3.4.5-cdh5.16.2/bin/../conf/zoo.cfg
6795 NameNode
9003 Kafka /home/hadoop/app/kafka_2.12-2.5.0/config/server-zhang0.properties
6956 DataNode
10236 Jps -m
7342 ResourceManager
8366 jar
7151 SecondaryNameNode

问题:
运行后
(1)redis里没有出现教学视频中的key:day-province-cnts-

(2)C:\Users\jieqiong\IdeaProjects\log-time\log-sss\src\main\scala\com\imooc\spark\sss\project\SSSApp.scala

C:\Users\jieqiong\IdeaProjects\log-time\log-service\src\main\java\com\imooc\bigdata\log\utils\Test.java

两个运行是各自运行各自的,数据并没有传递到SSSApp.scala中来处理。

是没有开启什么服务吗?
kafka的consumer需要开启吗?
SSSApp.scala是从kafka的什么地方接收数据的?

写回答

1回答

Michael_PK

2022-04-05

这个问题等位很简单,分两步:

1)你不要直接写redis,你直接把结果打印到控制台,看看是否真的有结果输出

2)第一步成立了,那就检查是否是数据sink到redis出了问题。  如果第一步就不成立,那就说明代码根本就没有结果数据输出

0
2
Michael_PK
回复
酱汁怪兽
那就说明到redis有问题,检查redis连接,写到了哪个redis的库里去了
2022-04-10
共2条回复

Spark3实时处理-Streaming+StructuredStreaming实战

实战Spark3实时处理,掌握两套企业级处理方案

340 学习 · 238 问题

查看课程