selenium集成scrapy

来源:9-4 selenium集成到scrapy中

shalama

2019-07-05

selenium集成到scrapy后,是否所有的请求都是通过selenium发起
只需要登录的时候通过selenium的话,是否就不需要做这个集成的工作了
如果访问的页面是动态请求,那就必须要通过selenium了嘛

写回答

1回答

bobby

2019-07-06

首先selenium集成中scrapy中是否每个请求都要让selenium去请求这个要看你如何写代码了,你完全可以自己控制, selenium我个人的建议是用来模拟登录就行了,登录后的请求用request就行了,因为selenium效率比较低, 动态页面不一定非要使用selenium, 如果不适用selenium请求的话那么就意味着你必须要去分析url是怎么构成的,自己模拟发起一个同类的请求就行了,selenium分析动态网页的好处是不用去分析url是什么格式的

0
1
shalama
非常感谢!
2019-07-14
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程