全量索引数据和增量索引数据应该如何完美衔接上?

来源:14-1 【构建测试环境】广告系统测试前的准备工作

biboxie

2019-05-21

请问,先使用DumpDataService导出全量索引数据,再启动ad-search服务(加载data文件),那在这两个操作之间如果有增量数据的产生,应该如果处理,是否两个操作之间的增量数据就因此丢失了。有没有什么比较好的解决方案能实现全量数据和增量数据的完美过度?

写回答

1回答

张勤一

2019-05-21

同学你好:

    其实当前的实现就是 “完美的”,并不会造成增量数据的丢失。因为默认情况下,读取 bilog 是直接从最新的位置开始读,但是,我们做备份的时候会记住备份到 binlog 的哪一个位置,即 binlogName
和 position。当这两个参数没有提供的时候,才会直接读最新的。

    所以,我们在实际开发的时候,一定要填写最后一个 binlog 文件和 position,这样,程序启动的时候,直接从 “正确的”位置开始增量建立索引,保证数据不会丢失。


    欢迎来 QQ 群随时交流、讨论,也非常感谢同学的支持!

1
1
慕瓜1441348
老师你好,请问填写最后一个 binlog 文件和 position具体在哪里实现呢
2020-06-01
共1条回复

Spring Cloud微服务架构 设计实现广告系统

广告营销系统,未来大中型企业的标配

2136 学习 · 927 问题

查看课程