使用时间戳增量和canal增量的区别

来源:9-14 【勤于思考,夯实学习成果】使用ES工具升级数据接入-习题

weixin_慕仰1047700

2020-05-27

老师,不知道我理解的对不对,请看看
1.使用时间戳维度更新增量,当数据库中的updated_at大于上一次更新的时间时,就会进行增量更新,但是这种更新是在设置的一分钟的时间间隔条件下的,也就是说,每过去一分钟,logstash会自动执行相应的sql语句,当满足updated_at时间变化的时候,对变化的数据进行更新。
2. 而canal管道的增量更新,是canal主动发现mysql更新的增量从而进行更新。
相当于前者其实是被动更新(1分钟检查1次),后者是主动更新。

写回答

1回答

龙虾三少

2020-05-27

离线和准实时的区别

0
0

ES7+Spark 构建高匹配度搜索服务+千人千面推荐系统

ElasticSearch实现高相关性搜索,Spark MLlib实现个性化推荐

1384 学习 · 559 问题

查看课程