拉勾网，使用browser.get_cookies()不能获取完整的cookie

来源：7-5 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程)

慕粉3883702

2021-03-02

反复试了多次，使用browser.get_cookies()取到的cookie只有17对键值对，爬取拉勾页面的时候获取不到数据，只能显示“加载中”。

图片描述

自动获取的cookie如下，只有17行。
图片描述

而我在手动登录拉勾网之后，按【F12】-【Network】手动复制粘贴整理出来的cookie有27对键值对，把cookie复制到函数start_requests( )里面之后，可以正常抓取页面。

手动复制粘贴的cookie有27行（这里显示不全）：
图片描述

有没有好的自动获取cookie的方案呢？还是我获取cookie的方法不对？

写回答

1回答

bobby

2021-03-02

复制出来的27个cookie值可以放入到请求中使用吗？

慕粉3883702

bobby

好的，谢谢老师。

2021-04-24

共7条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1