关于分布式爬虫

来源：10-6 scrapy-redis源码剖析-dupefilter.py-

qq_好急好急_0

2019-04-24

老师，打造搜索引擎是不是没用到分布式爬虫，我看你讲分布式爬虫都是在ScrapyRedistest那个项目里讲的

写回答

1回答

bobby

2019-04-26

已采纳

是的，课程中讲解分布式爬虫是通过分析scrapy-redis的源码来达到的，但是入库es等逻辑都是基于之前的scrapy来完成的，后续的逻辑大家直接将两者代码结合一下就行了，因为主要的原理我都已经讲解到了

qq_好急好急_0

非常感谢！

2019-04-26

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 1