scrapy selenium登录

来源：9-4 selenium集成到scrapy中

慕尼黑9392947

2017-05-07

教程中是把selenium通过中间件集成到scrapy的整个爬取。有没有办法做到只在登录的时候调用selenium，后面的爬取过程还是用scrapy？

写回答

1回答

bobby

2017-05-08

当然可以，你只需要按照我讲解的知乎登录的地方改为selenium登录，但是记住登录之后需要将selenium中获取到的cookie设置到scrapy的cookie中，具体如何设置你可以参考后面scrapy的进阶中会提到的cookiemiddleware的源码

bobby

慕妹5495383

scrapy 进阶开发中会讲解到middleware 但是cookie的源码课程中没有讲解你可以更加其他的知识点看懂cookie的源码

2017-07-06

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1