关于HtmlResponse

来源:9-4 selenium集成到scrapy中

归根结底不优秀

2019-05-06

①老师,下面标记的这句代码是想要做到哪些事情?

http://img.mukewang.com/szimg/5cd026a100017aa812920438.jpg





②之前课程中爬取知乎相关信息没有用到chrome对js的动态加载却能准确的爬取到相关信息,是因为课程中爬取的信息没有被知乎js动态加载的原因吗?

写回答

1回答

bobby

2019-05-07

  1. 你的第一个问题没看出来你标记的是哪一句代码啊

  2. 关于知乎没有使用chrome去加载的原因是因为知乎不是异步加载的

不论如何,即使页面是动态加载的,如果能分析出具体的请求的话,能不用selenium就不用,因为性能低

0
5
归根结底不优秀
非常感谢!
2019-06-03
共5条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程