ad-binlog-kafka多实例,消息重复?
来源:17-5 【能力提升】广告检索微服务架构设计优化

weixin_慕粉3020358
2022-05-18
一哥,ad-binlog-kafka多实例的时候,可以让生产者-partition-消费者,一对一绑定来解决吗?kafka才入门不太懂,如上图
我在其他同学回答中,看见你回复“监听 Binlog 的不能是单实例,但是,在同一时刻应该是只有一个实例在监听,否则,会造成消息的重复。所以,多个实例之间需要有协调性关系。且,需要有个时间间隔定时将 Binlog 的 binlog-file 和 position 保存下来(redis 中或者文件中都可以)”
没懂其中的意思,是一个ad-binlog-kafka 监听到了然后将下一个新的binlog日志的name以及pos保存到redis中,然后其他ad-binlog-kafka实例先从redis查看是否有新的binlog日志,如果有再按照这个信息取?
这样的话,每一个ad-binlog-kafka是要把消息广播给topic下所有分区吗?
写回答
1回答
-
张勤一
2022-05-18
同学你好:
我的建议是,先看看 Kafka 的特性吧;Kafka 懂了以后,这些问题,只是 Kafka 的基本特性
10
相似问题