Scrapy中深度优先如何实现的priority权重？

来源：14-5 倒排索引

烈焰卡卡

2019-04-21

官方文档中好像说的scrapy默认调度是先进后出的深度优先，但是每个请求又都可以设置权重，那么他实现的原理是怎样的？和scrapyredis默认调度使用的优先级队列又有什么区别？

写回答

1回答

bobby

2019-04-23

首先先进先出就是queue的的方式。因为queue就是先进先出，scrapyredis和scrapy本身都是有queue和优先级队列两种模式的，所以两者这点上没有区别，只是scrapy的优先级队列使用了redis来实现而已

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1