老师您好，我想问一下关于scrapy中的ip代理池问题

来源：8-6 scrapy实现ip代理池 - 1

白开水55

2018-07-03

在scrapy中使用ip代理池，但是其中含有一些没有用的ip，在进行爬虫的时候，由于ip无效导致程序线程崩溃，这种错误怎么使用try...except避免

写回答

1回答

贝熊熊晚安

2018-07-04

已采纳

代理IP是不稳定的，绑定一个错误处理函数，在错误处理函数中判断请求失败如果是服务器错误就再次发送请求，最大限制发送3次，如果超过最大限制就换代理ip发送请求，整个请求最大不超过12次。

白开水55

bobby

明白了，谢谢老师

2018-07-09

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 3

回答 2

回答 2

回答 2