怎么清除幂等数据库里的冗余数据

来源:7-6 消息幂等性保障-消息路由规则架构设计思路

qq_慕丝3553421

2018-12-13

老师您好,我们做幂等,都是将消费过的数据入查重库,broker再次重复发送的时候,通过查询查重表,可以避免重复消费,那么日积月累,或者是消息高峰的时候,数据库会出现一个比较大量的数据堆积,怎么才能在清除这些堆积数据的同时,保证不会出现:当broker再次发送某些消息时,查重表里的相关数据刚好被清空,然后又出现重复消费的情况呢?

写回答

1回答

阿神

2018-12-14

根据实际的情况写一个定时任务,比如数据量不大的情况可以考虑每个月定时执行任务,清理2天以上的历史数据,在这里我们认为消息如果堆积2-4天不可能还没有被处理,这个可以配合监控报警服务来做,1天以上消息没有被消费做报警处理

1
1
qq_慕丝3553421
非常感谢!
2018-12-17
共1条回复

RabbitMQ精讲 从0到1驾驭RabbitMQ应用与设计

从0到1,全面深入掌握RabbitMQ消息中间件技术

1460 学习 · 443 问题

查看课程