使用scrapy-crawlera做爬虫代理,但是运行爬虫出错,打印信息显示407状态码,要怎么解决?

来源:9-6 scrapy的暂停与重启

dengwenjieyear

2017-06-30

http://szimg.mukewang.com/5955b1490001a36712030705.jpg

写回答

2回答

dengwenjieyear

提问者

2017-07-01

找到原因了,那个crawlera服务要钱的,我在自己的scrapinghub上未开通crawlera服务

1
1
bobby
crawlera 是收费的, 如果不介意收费的可以考虑, 相对自己去网上找免费的代理ip会速度快和稳定一些
2017-07-03
共1条回复

志明0

2017-06-30

以4开头的错误一般都是服务器问题,你找到原因了吗?

0
1
dengwenjieyear
还没找到呢,网上查了说是代理服务器身份验证不通过
2017-06-30
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程