1回答

bobby

2017-06-16

已采纳

你这里是结合了selenium的模拟登录和scrapy的request了吧， selenium的cookie是不能进入scrapy的request的 如果要用selenium模拟登录然后让scrapy可用selenium的cookie 就要自己去设置cookie到scrapy中， 具体方法你可以参考scrapy的源码中下的 downloadmiddlewares/cookies.py文件 里面有具体的逻辑

0

3

bobby

回复

宝慕林5723456

这个设计基本上没有问题 不过在爬取的时候如果能用scrapy的request完成的话 就尽量使用scrapy完成 对于一些复杂的逻辑 比如分析登录比较麻烦 或者反爬虫比较厉害你可以使用selenium来完成爬取

2017-06-18

共3条回复