es数据同步和数据滞后问题

来源:9-14 【勤于思考,夯实学习成果】使用ES工具升级数据接入-习题

慕桂英6345398

2019-11-05

老师,有两个问题想请教一下:

  1. 请问 canal 可以从 mysql 全量同步数据到 es,并自动转换为增量同步吗?或者业界有没有其他可行的方案?
  2. es数据会短时间滞后于mysql,那如何处理这些滞后的搜索结果呢?比如 a 被删除,但在同步到 es 期间用户还是可以搜索到 a。
写回答

1回答

龙虾三少

2019-11-05

canal主要是处理变化的增量数据的管道 从无到有的数据不适合canal 需要用全量索引覆盖构建的方法 然后说数据同步时间差的问题是避免不了的 真实的环境中同步时间差甚至是毫秒级别 就算是这样即便出现列表页有点进去下架了其实淘宝之类的产品也都有这个问题 属于正常的解决方案

0
3
慕桂英6345398
回复
龙虾三少
意思是,只要全量之前开启了 binlog,那全量后的增量就可以从 binlog 中找到全量期间数据的变化更新到 es?(在不停服务时全量同步数据,期间数据会被修改嘛)
2019-11-06
共3条回复

ES7+Spark 构建高匹配度搜索服务+千人千面推荐系统

ElasticSearch实现高相关性搜索,Spark MLlib实现个性化推荐

1384 学习 · 559 问题

查看课程