selenium集成scrapy
来源:9-4 selenium集成到scrapy中
shalama
2019-07-05
selenium集成到scrapy后,是否所有的请求都是通过selenium发起
只需要登录的时候通过selenium的话,是否就不需要做这个集成的工作了
如果访问的页面是动态请求,那就必须要通过selenium了嘛
写回答
1回答
-
首先selenium集成中scrapy中是否每个请求都要让selenium去请求这个要看你如何写代码了,你完全可以自己控制, selenium我个人的建议是用来模拟登录就行了,登录后的请求用request就行了,因为selenium效率比较低, 动态页面不一定非要使用selenium, 如果不适用selenium请求的话那么就意味着你必须要去分析url是怎么构成的,自己模拟发起一个同类的请求就行了,selenium分析动态网页的好处是不用去分析url是什么格式的
012019-07-14
相似问题