西刺代理,出现: Max retries exceeded with url。

来源:8-7 scrapy实现ip代理池 - 2

wireless_ZDJ

2018-04-09

报的错误是这样子的。

HTTPConnectionPool(host='119.5.1.36', port=808): Max retries exceeded with url: http://www.jobbole.com/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000000000433B0B8>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。',)))

并且程序执行3次就停掉了,但是我的数据库里有西刺网不止3个IP

写回答

2回答

bobby

2018-04-12

拒绝连接了 是不是爬取的过快被反爬了?

0
0

wireless_ZDJ

提问者

2018-04-09

还有一种错是:

HTTPConnectionPool(host='183.159.92.82', port=18118): Max retries exceeded with url: http://www.jobbole.com/ (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000000000433D080>: Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝,无法连接。',)))

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程