关于索引更新的问题
来源:8-15 搜索引擎优化
小耶哥
2019-07-17
瓦力老师你好:
我目前有2个疑问关于索引更新方面的:
- 更新单条数据,目前使用kafkafa发送消息进行消费,异步处理索引更新
- 大批量处理数据,比如2000条,当然也可以使用mq消息队列来做
但是目前有没有更好的方法, 是否考虑到logstash?
老师有没有这方面的资料,来做数据同步 谢谢瓦力
写回答
1回答
-
亲,仔细想想,数据同步是跟着ES底层能力决定的,即使使用logstash,它也是在等一批数据够了之后,使用_bulk来同步的,所以建议当前中间模式不要变,需要变的是终端写入那个模块,如何能够最大化IO是你需要考虑的问题
00
相似问题