IP失效被blocked了如何处理好？

首页课程实战体系课手记专栏慕课教程

IP失效被blocked了如何处理好？

来源：8-7 scrapy实现ip代理池 - 2

Dreambig

2019-03-25

老师
爬取了一堆代理，刚刚开始都可以用，但是用多了有的代理就被block了。
譬如用A代理请求的这个URL，但是A代理用久了被封了，scrapy会不会重新用能用其他的代理去请求？还是这个请求失败的url就放弃了吗？
有时候代理用久了被block掉，但是自己也查不到，还是让scrapy一直在跑。
有没有什么好的方法可以解决吗？

写回答

1回答

bobby

bobby

2019-03-27

现在的免费代理因为使用的人实在太多了很不稳定，之前有个学员用过一个收费代理说的很不错你可以看看 https://www.abuyun.com/

0

2

bobby

回复

Dreambig

scrapy有一个retry的middleware 对于某些失败的会再次发起，对于最终失败的你可以用middlware拦截然后再次自己发起请求如果再次发起的话就又会走你的修改ip代理的逻辑的

2019-03-29

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

老师您好，我想问一下关于scrapy中的ip代理池问题

回答 1

ip被封后，更换代理ip依然没有效果，请问是什么原因呢

回答 1

通过西刺爬取的ip，爬了不到5000条就被封了返回503

回答 2

items处理spider失效

回答 1

使用Crawlera后，response.body为空，取不到信息

回答 1

打开慕课网App查看更多内容