使用cookies登录

来源:6-14 item loder方式提取question - 1

慕用7288366

2018-05-11

老师,我使用了selenium登录知乎,拿到cookie之后,为什么之后的每次请求还是要从selenium登录(打开浏览器,手动输入验证码),而不是直接调用cookie?代码使用的是老师的zhihu_sel。

写回答

2回答

bobby

2018-05-14

你是否在settings中设置了enabled_cookie 设置了找个之后 scrapy会将你之前传递到request中的cookie设置到下一个request中去

0
2
慕用7288366
非常感谢!
2018-05-18
共2条回复

慕用7288366

提问者

2018-05-14

//img.mukewang.com/szimg/5af8fb0e0001889c11320673.jpg

(回复没法放图,我就放在这里)

每次顺序执行 start_requests() 函数,都会去调用selenium打开浏览器,是否应该在头部添加一个判断cookie存在的语句来调用cookie呢?

否则调用cookie都是在函数末尾,也就没法跳过浏览器登录这个步骤了。


0
1
bobby
这逻辑很简单 你先将cookie放入到文件中 然后每次登录的时候你先判断文件是否存在,如果存在你就不用去模拟登录了 直接从文件中读取就行了
2018-05-15
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

查看课程