全量索引数据和增量索引数据应该如何完美衔接上?
来源:14-1 【构建测试环境】广告系统测试前的准备工作

biboxie
2019-05-21
请问,先使用DumpDataService导出全量索引数据,再启动ad-search服务(加载data文件),那在这两个操作之间如果有增量数据的产生,应该如果处理,是否两个操作之间的增量数据就因此丢失了。有没有什么比较好的解决方案能实现全量数据和增量数据的完美过度?
写回答
1回答
-
张勤一
2019-05-21
同学你好:
其实当前的实现就是 “完美的”,并不会造成增量数据的丢失。因为默认情况下,读取 bilog 是直接从最新的位置开始读,但是,我们做备份的时候会记住备份到 binlog 的哪一个位置,即 binlogName
和 position。当这两个参数没有提供的时候,才会直接读最新的。所以,我们在实际开发的时候,一定要填写最后一个 binlog 文件和 position,这样,程序启动的时候,直接从 “正确的”位置开始增量建立索引,保证数据不会丢失。
欢迎来 QQ 群随时交流、讨论,也非常感谢同学的支持!
112020-06-01
相似问题