老师您好，关于重定向的请求在DOWNLOADER_MIDDLEWARES中无法拦截的问题

来源：10-9 集成bloomfilter到scrapy-redis中

慕丝7238044

2020-03-25

老师我有两个问题
1.我按照课程添加了随机代理与随机ua进行请求, 并且又加入了一个重试的中间件。如下此时retry_http_codes是包含301 302等错误码的
图片描述
但是发现，我发现这里拦截的错误码是对于重定向之后网址请求的状态码 200
所以要怎么对重定向的错误码进行拦截呢？
2.我的随机ua 随机ip 重试中间件优先级是 490 500 510
如果我拦截到错误并进行重试是会重新从随机ua开始重新请求还是用上一次的ua和ip进行请求呢？

写回答

1回答

bobby

2020-03-26

重定向的302请求会被scrapy自动识别并转向请求302之后的页面。所以如果想拦截这些请求的话那么需要设置防止302被scrapy自动处理 https://stackoverflow.com/questions/22795416/how-to-handle-302-redirect-in-scrapy 你可以看看这个重试的请求会继续随机ua

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

爬取拉勾被重定向到登陆界面

回答 3

关于代理ip无效的问题

回答 1

老师您好，我想问一下关于scrapy中的ip代理池问题

回答 1

重试中间件的使用

回答 1

拉勾网重定向无法爬取

回答 3

打开慕课网App查看更多内容