scrapy抓取拉勾网出现302跳转

来源：8-10 cookie禁用、自动限速、自定义spider的settings

skylake_core

2019-04-20

设置时间间隔、cookie更新（cookie里有两个随时间变化的键值），useragent、代理IP等方法都还会遇到302问题，有点崩溃了，不知道拉钩的反爬策略是什么。图片描述
无语抓到的页面就没超过20个，老师你怎么看？

写回答

1回答

bobby

2019-04-22

拉钩反爬通过ip限制非常变态，可以使用阿布云的ip代理来解决，已经在scrapy中一定要设置禁用cookie

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1