爬取拉勾被重定向到登陆界面

来源：7-6 item loader方式解析职位

qq_CrazyMemory_0

2018-03-25

我用selenium模拟登陆后，拿着token去请求还是被重定向，求解答

写回答

3回答

bobby

2018-03-28

已采纳

你截图我看看你的settings中的cookie设置参数名对不对

qq_CrazyMemory_0

非常感谢！

2018-03-28

共1条回复

不务正业的码农

2018-05-27

我也遇到了同样的问题，重写了start request之后还是不行

bobby

2018-03-26

你是一开始就被重定向了还是请求了几个之后被重定向的？

qq_CrazyMemory_0

老师，我自己调试了发现，就第一个请求www.lagou.com的request 200了之后全部都是302,而且之后的请求都没有cookie，只有最开始的请求带了cookie 我的cookie使用selenium拿到的，我的setting里面的cookie_enable也设置了是需要重写parse_start_url方法吗给最初的请求带上cookie 我是重写的start_request方法

2018-03-26

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

爬取拉钩要登录

回答 2

只爬取，不处理

回答 3

老师现在拉勾网的反爬策略是什么呢？

回答 1

课程6-4 调试拉钩网爬取url，response为302重定向为登录页面，没有进入调用callback函数parse_item，提取不到后续url

回答 1

实习僧爬取问题

回答 1

打开慕课网App查看更多内容