老师：关于下载器的问题

来源：9-11 scrapy信号详解

慕粉1724417796

2017-06-05

能不能只构造请求不下载？

比如说我想将mongodb中url加入boolmfilter中但是我又不想下载这个页面

写回答

2回答

慕粉1724417796

提问者

2017-06-06

老师：怎么放弃下载？

用process_response好像不行啊，必须要返回request或response

而且downloadmiddle中的process_response就已经把网页内容下载下来了

bobby

downloadmiddle 中你不能写process_response 函数而是要写process_request函数这里面你可以直接返回一个空的response，一旦遇到reponse就不会进入下载器了

2017-06-07

共1条回复

bobby

2017-06-06

可以在downloadmiddle中处理在进入下载器之前放弃下载

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 2

回答 1