为什么要使用selenium

来源:8-1 爬虫和反爬的对抗过程以及策略

归根结底不优秀

2019-04-25

①从之后的使用当中,我发现selenium的作用只是实现对浏览器的操作并获取cookie

②为什么说selenium可以解决数据通过js动态加载这些问题呢(基于本节课中爬虫与反爬虫对抗发展介绍如下)?

http://img.mukewang.com/szimg/5cc181bd000147d615240236.jpg

③之前提到了response分析的是页面的html源码,那为什么我在知乎、伯乐在线这些页面的css并没有出现因为js动态加载导致的数据获取失败的问题呢?


写回答

1回答

bobby

2019-04-26

  1. selenium最大的好处就是可以模拟人的行为。因为一个网站展示出来的数据很多网站中间执行了大量的js操作和网络请求出来的结果,不适用selenium的话你就需要分析这些js逻辑

  2. 在课程中已经介绍了淘宝的价格展示,其中已经清晰的说明了使用selenium的方便之处

  3. 你的第三个问题我没看看懂,css为什么会受到js动态加载的影响呢?

1
5
归根结底不优秀
非常感谢!
2019-05-05
共5条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5763 学习 · 6266 问题

查看课程