scrapy-redis分布式与最后这个搜索引擎的搭建有什么联系吗?

来源:15-9 搜索记录、热门搜索功能实现 - 2

子辰兄

2019-10-30

写回答

1回答

bobby

2019-11-01

scrapy-redis是将scrapy变成分布式的爬虫,和搜索引擎搭建没有关系。不论是scrapy还是scrapy-redis都是为了网站提供数据而已,和django是两个系统,scrapy爬取到数据以后写入到elasticsearch中,django从elasticsearch读取数据

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程