爬虫爬百度的时候老是跳到安全认证页面

来源：8-8 scrapy实现ip代理池 - 3

qq_慕桂英5086076

2020-08-05

https://wappass.baidu.com/static/captcha/tuxing.html
发送的请求老是跳转到这个链接开头的url上，也就是验证码界面，用了代理池，但是还是隔一会儿就跳转到安全认证页面，请问有没有好的解决办法或者思路。

写回答

1回答

bobby

2020-08-08

你的抓取速度有没有控制过控制抓取速度很重要，以及是否有禁用cookie？理论上来讲，如果你启用了cookie，即使你使用了ip代理池也会被发现的

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2