es的入库方式

来源：14-13 scrapy写入数据到elasticsearch中 - 2

慕少7338747

2020-04-23

老师您好，我想问一下课程中讲解的es入库的逻辑实现的是es的同步的方式入库还是以异步的方式入库呢？我调试抓取cnblogs内容入库的时候，在获取新闻列表页时用切片获取了第一页的几个数据，然后他是先把这几个列表数据全都抓取后才进入入库逻辑，这是不是说明了课程中讲解的es入库逻辑为同步的入库方式呢？？

写回答

1回答

bobby

2020-04-24

已采纳

课程中用到的es库是同步入库的，如果你入库是这个需求的话你可以将数据放入到redis中，然后另外启动一个脚本从redis中读取数据然后入库这样代码就是分离的入库和抓取分离

慕少7338747

好的

2020-04-26

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2