爬取代理503错误

来源：8-6 scrapy实现ip代理池 - 1

KenBetter

2019-06-20

老师你好
现在我爬取代理的ip的时候遇到一个问题
我本机的ip被西刺网站禁掉了我使用代理网站也返回503
请问这种情况怎么办呢

写回答

1回答

bobby

2019-06-21

家里有路由器的话可以重启一下路由器这样ip会切换的抓取西刺的时候最好加上useragent 不然有可能会被识别出来

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 3

回答 2

回答 1

回答 2