消费到的数据有丢失

来源:12-11 -Spark Streaming对接Kafka的数据进行消费

啊大bug

2020-09-01

图片描述

1,老师 这是我执行 ./kafka-console-consumer.sh --zookeeper itcast01:2181 --topic streamingtopic1 --from-beginning
消费的数据 我用课堂上 造的数据 里 就没有这样的数据的,也就是说我消费kafka 里的数据 是有丢失的 ,
2,我debug 验证了我的猜想 如下图
图片描述

写回答

1回答

Michael_PK

2020-09-01

你测试用的数据是自己造的吗?你这数据是不是有换行的原因呢,导致你的数组下标越界了。很简单的处理方案,你在做处理之前先判断你split出来的长度是不是满足我们的要求呢,要满足要求 其实就是数组别越界了,再处理就行了。不然不符合要求肯定越界

0
0

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程