ip代理 connection was refused by other side 61 connection refused

来源:8-8 scrapy实现ip代理池 - 3

慕雪0267781

2017-11-23

  1. 我是从西刺上爬的代理IP, 希望通过代理IP解决拉钩网对IP对限制。

  2. 我在将代理IP放到对拉钩的request之前,通过对百度对访问,验证了IP代理的有效性。

  3. 用验证过的IP代理访问拉钩时报了connection was refused by other side 61 connection refused的错。scrap 在3次尝试连接失败后就退出了。 

写回答

1回答

慕雪0267781

提问者

2017-11-23

 对于这个问题我后面做了试验:

  1. 很多IP代理, 我用requests 这个这个库,直接发送请求时,能用。

  2.  在requests这个库中能用多IP代理,很多用scrapy的Request时就没法简历TCP连接,然后就61了,只有很少部分的IP代理在用scrapy的Request时,能建立连接,正常使用。 

0
1
bobby
免费代理因为使用的人太多, 可能造成上一秒能连接 下一秒就不能连接使用了, 你可以试试收费代理相对会好一些
2017-11-24
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程