为什么要使用selenium
来源:8-1 爬虫和反爬的对抗过程以及策略
归根结底不优秀
2019-04-25
①从之后的使用当中,我发现selenium的作用只是实现对浏览器的操作并获取cookie
②为什么说selenium可以解决数据通过js动态加载这些问题呢(基于本节课中爬虫与反爬虫对抗发展介绍如下)?
③之前提到了response分析的是页面的html源码,那为什么我在知乎、伯乐在线这些页面的css并没有出现因为js动态加载导致的数据获取失败的问题呢?
写回答
1回答
-
selenium最大的好处就是可以模拟人的行为。因为一个网站展示出来的数据很多网站中间执行了大量的js操作和网络请求出来的结果,不适用selenium的话你就需要分析这些js逻辑
在课程中已经介绍了淘宝的价格展示,其中已经清晰的说明了使用selenium的方便之处
你的第三个问题我没看看懂,css为什么会受到js动态加载的影响呢?
152019-05-05
相似问题