scrapy-redis中DUPEFILTER键入库规则
来源:10-8 scrapy-redis源码分析- scheduler.py、spider.py-
sjdgbhb
2020-03-28
老师,scrapy-redis 在请求出现异常时,这个请求的指纹加入到DUPEFILTER重键吗,什么情况下会将请求的指纹加入到去重键里?
写回答
2回答
-
课程中讲解过scrapy的工作流 ,通过工作流可以看出来 engine拿到request 然后放入队列中 也就是如果先放入队列 然后下载
032020-04-03 -
bobby
2020-03-30
通过这个源码可以看出来
012020-03-30
相似问题