基于Scrapy-redis的爬虫，模拟登陆如何设置cookies

来源：7-5 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程)

慕尼黑7546459

2020-02-16

老师
基于Scrapy的话，在模拟登陆获取到cookie之后，通过
yield scrapy.Request(url, dont_filter=True, cookies=cookie_dict) 来设置cookies。基于Scrapy-redis的话，改怎么设置cookies呢？

写回答

1回答

bobby

2020-02-18

scrapy-redis中和scrapy中一样啊，你在每个yield的request中都可以加上这个啊

bobby

慕尼黑7546459

是的，需要独立成服务，这个成本比起来将登陆的逻辑集成到爬虫中会显得很值得，独立的服务抓取到cookie以后将cookie放入到redis中，另一个爬虫从redis中获取cookie，但是做成一个服务需要考虑到多线程以及多个网站方便集成等各种功能，但是独立成服务还有一个最大的好处就是可以用其他语言实现，比如pupeteer用nodejs来做优势远大于劣势的

2020-03-03

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

scrapyd部署scrapy后无法关闭爬虫

回答 1

selenium模拟知乎登陆的问题

回答 1

selenium模拟微博登录后，对某一个url请求，返回来的source_page仍没有加载script脚本。

回答 1

scrapy-redis怎么在外部进程yield到某一spider的Request中?

回答 1

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

打开慕课网App查看更多内容