请教老师canal消费端多节点是否会消费重复数据

来源：12-10 canal自定义接入（4）

慕用9545011

2021-01-26

老师你好。请问如果用spring的scheduler，如果是多个实例同时启动这个任务的话，会不会同时从canal拿到相同的binlog日志，而导致重复地去更新索引？ canal 自身有这种避免消费重复数据的保障吗？还是必须自己写代码来避免？

写回答

1回答

龙虾三少

2021-01-26

canal本身是binlog顺序消费的消费成功后再确认如果有重复消费也是顺序的消费端可以用版本号做幂等

龙虾三少

慕用9545011

配置一个consumer group内不会

2021-01-27

共2条回复

ES7+Spark 构建高匹配度搜索服务+千人千面推荐系统

ElasticSearch实现高相关性搜索，Spark MLlib实现个性化推荐

1384 学习 · 559 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1