storm和kafka整合本地不报错,提交集群报错,请Michael__PK老师帮忙分析下如何解决?

来源:12-11 -Logstash和Kafka的整合注意事项详解

mybatis

2018-10-21

KafkaSpout KAFKA Unable to get offset lags for kafka. Reason: java.lang.IllegalArgumentException: zk-node ‘/test_topic/5d67c2c9-1610-41c7-83c2-f2ffadf5e620’ dose not exists. at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOldConsumerOffsetsFromZk(KafkaOffsetLagUtil.java:404) at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags(KafkaOffsetLagUtil.java:270) at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.main(KafkaOffsetLagUtil.java:126)

写回答

4回答

mybatis

提问者

2018-10-22

在本地测的时候用的是线上的kafka和zookeeper

0
1
Michael_PK
换个topic,不然容易出现offset错乱
2018-10-22
共1条回复

mybatis

提问者

2018-10-22

Michael_PK 老师,是不是有别方面的原因?

0
0

mybatis

提问者

2018-10-22

新建了一个topic,还是报这个错误

0
1
Michael_PK
本地和集群的分开topic,测试,建议是这样的
2018-10-22
共1条回复

Michael_PK

2018-10-21

你集群中换个topic,肯定是用的那个topic被污染了

0
0

Java大数据实战,巧用Storm快速切入实时流处理领域

深入Storm内部机制,logstash+kafka,快速切入大数据实时流处理

518 学习 · 143 问题

查看课程