老师这几天反过来抓取拉钩也是一直被重定向至登陆页面这个什么问题昵？

来源：8-5 通过downloadmiddleware随机更换user-agent - 2

起得比鸡还早

2017-08-26

写回答

2回答

bobby

2017-08-28

已采纳

拉勾网判断爬虫是通过ip来判断的可以看看后面的课程切换ip爬取即可

起得比鸡还早

提问者

2017-08-29

//szimg.mukewang.com/59a5281e0001b0de18660447.jpg

拉钩绝对拉我黑名单了，换了ip代理和agent还是不行？这就是饭爬虫么!!!

SingleVergil

我好像也是老是给我302 我暂时没用带来把 middleware代理的那个注释了重启路由器百度IP外网地址发生变化了好像还是给我 302 好神奇

2017-09-15

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 3

回答 1

回答 2

回答 1

回答 2