ad-binlog-kafka多实例,消息重复?

来源:17-5 【能力提升】广告检索微服务架构设计优化

weixin_慕粉3020358

2022-05-18

http://img.mukewang.com/szimg/6284da7d098ad2a211330593.jpg

  1. 一哥,ad-binlog-kafka多实例的时候,可以让生产者-partition-消费者,一对一绑定来解决吗?kafka才入门不太懂,如上图

  2. 我在其他同学回答中,看见你回复“监听 Binlog 的不能是单实例,但是,在同一时刻应该是只有一个实例在监听,否则,会造成消息的重复。所以,多个实例之间需要有协调性关系。且,需要有个时间间隔定时将 Binlog 的 binlog-file 和 position 保存下来(redis 中或者文件中都可以)”

    没懂其中的意思,是一个ad-binlog-kafka 监听到了然后将下一个新的binlog日志的name以及pos保存到redis中,然后其他ad-binlog-kafka实例先从redis查看是否有新的binlog日志,如果有再按照这个信息取?

    这样的话,每一个ad-binlog-kafka是要把消息广播给topic下所有分区吗?

写回答

1回答

张勤一

2022-05-18

同学你好:    

    我的建议是,先看看 Kafka 的特性吧;Kafka 懂了以后,这些问题,只是 Kafka 的基本特性

1
0

Spring Cloud微服务架构 设计实现广告系统

广告营销系统,未来大中型企业的标配

2136 学习 · 927 问题

查看课程