通过西刺爬取的ip，爬了不到5000条就被封了返回503

来源：8-6 scrapy实现ip代理池 - 1

HugoL

2019-01-14

而爬取到的ip通过judge_ip()发现没一个可以用的，数据库的IP都通过delete()删除掉了，这该怎么办啊

写回答

2回答

bobby

2019-01-16

已采纳

这种共用的ip被网站封的概率很大而且不稳定，因为很多其他人也在用，所以这个是用来做学习用，生产环境最好自己搭建ip或者重启路由器的方式切换ip，或者使用收费代理

bobby

evahere

如果切换成功就是公网ip

2020-04-05

共2条回复

jager_he

2019-01-16

重启路由器（一般会换IP），再次爬就是了，免费的就是实验下吧，估计用处不大

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 2

回答 1