用crawlSpider对拉钩网爬取，出现302的状态码，意思是要先用scrapy登录，才能爬取吗？

首页课程实战体系课手记专栏慕课教程

用crawlSpider对拉钩网爬取，出现302的状态码，意思是要先用scrapy登录，才能爬取吗？

来源：7-4 Rule和LinkExtractor使用

qq_鸣神剑二_0

2018-03-14

写回答

1回答

python小白菜

python小白菜

2018-03-15

已采纳

对呀，请求被重定向了，要先登录获得cookie信息，再在请求上附上cookie信息

0

4

树上有云a

回复

python小白菜

好的，

2018-03-27

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

相似问题

爬取拉钩要登录

回答 2

只爬取，不处理

回答 3

老师现在拉勾网的反爬策略是什么呢？

回答 1

课程6-4 调试拉钩网爬取url，response为302重定向为登录页面，没有进入调用callback函数parse_item，提取不到后续url

回答 1

crawlspider中能yield出去 Request的吗？

回答 1

打开慕课网App查看更多内容