crwalspider会跳转到登陆界面

来源：7-8 职位信息入库-2

傻宝3

2017-06-06

老师，我的爬取它会自动跳转到登陆界面，是不是因为提取网址的时候进入到了登陆的网址，或是其他的什么原因？

写回答

1回答

bobby

2017-06-07

已采纳

这个应该是服务器某些页面只有登录才有访问权限或者判断你为爬虫让你重新登录验证，爬取的时候使用ip代理或者动态切换user agent 以及注意下一下爬取速度，这些技术后面都会讲到的

慕码人8838314

老师，似乎切换user-agent还是会跳转到登录界面

2017-08-23

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 6

回答 1

回答 1

回答 1

回答 1