没有你说的那两个文件，还有我调试按f8进不了scheduler

来源：10-4 scrapy-redis编写分布式爬虫代码

慕工程0291652

2020-12-06

图片描述

我在redis中输入lpush，马上就有spidermiddlewares出来，如图
还有我在集成bloomfilter也是一样的情况，根本F8进不了dupefilter

写回答

1回答

bobby

2020-12-07

//img.mukewang.com/szimg/5fcdfa3f09b1a90011360063.jpg 这里提示已经被过滤掉了，所以你可以覆盖start_requests方法在里面对每个start_url参数中设置dont_filter为True

慕工程0291652

这个你己经在扣扣上帮我解答了，但是现在dupfliter进不去调试

2020-12-08

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5797 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 3

回答 2

回答 1