scrapy-redis中DUPEFILTER键入库规则

来源:10-8 scrapy-redis源码分析- scheduler.py、spider.py-

sjdgbhb

2020-03-28

老师,scrapy-redis 在请求出现异常时,这个请求的指纹加入到DUPEFILTER重键吗,什么情况下会将请求的指纹加入到去重键里?

写回答

2回答

bobby

2020-03-30

课程中讲解过scrapy的工作流 ,通过工作流可以看出来 engine拿到request 然后放入队列中 也就是如果先放入队列 然后下载

0
3
sjdgbhb
非常感谢!
2020-04-03
共3条回复

bobby

2020-03-30

//img.mukewang.com/szimg/5e81467409c7b5c308390308.jpg 通过这个源码可以看出来

0
1
sjdgbhb
这个是入request队列的规则
2020-03-30
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程