请问当请求拉钩页面时出现302，如何再次更换代理ip？不让scrapy一直Retry

来源：7-4 Rule和LinkExtractor使用

时间流逝unity

2018-07-14

我第一次故意选一个连接不上的代理ip，想让他继续从数据库里随机挑选ip，而不是一直Retry？

写回答

1回答

时间流逝unity

提问者

2018-07-14

我知道了，但如何在下载中间件里的process_request里判断是否出现302，如果有才继续从数据库里取ip？

bobby

https://github.com/scrapy/scrapy/issues/1334 你看看这里，你可以设置一些状态码的返回response，然后你在parse方法里面判断这些状态码如果状态码有问题你再次yield一下request记得设置为dont_filter为true就行了

2018-07-16

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5813 学习 · 6291 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 3