为什么ip中间件不是一个yield请求启动一个代理ip，而是有时候一个yield请求重复启动的同一个中间件ip

来源：15-1 es完成搜索建议-搜索建议字段保存 - 1

慕先生0421411

2017-08-30

写回答

1回答

bobby

2017-08-31

已采纳

亲如果你这个是中间件的话每个request都会经过这个函数处理，如果都是同一个ip的话那就是random取到了同一个ip 也有可能是你这个302或者请求失败的时候直接scrapy发起了多次尝试相同请求这个时候request都是一样的了

bobby

慕先生0421411

https://stackoverflow.com/questions/22795416/how-to-handle-302-redirect-in-scrapy 你看看这个 302的时候你最好是先搞懂原因如果是定位到登录页面了说明所有剩余的request可能都会被定向到登录页面，这个时候你可以跳转到登录函数去实现登录逻辑

2017-09-01

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

老师您好，我想问一下关于scrapy中的ip代理池问题

回答 1

写了代理ip中间件，但是访问爬取网站时还是本地ip。

回答 1

关于代理ip无效的问题

回答 1

爬取登录的网站是否有必要构建UA池与IP代理池

回答 1

西刺爬出来的代理ip一个都不好用

回答 1

打开慕课网App查看更多内容