动态网页爬取的问题

来源:9-5 其余动态网页获取技术介绍-chrome无界面运行、scrapy-splash、selenium-grid, splinter

慕神6516775

2018-07-11

老师,为了等待某些数据动态加载完成之后再爬取,我使用了selenium的WebDriverWait方法,达到了我的目的.但是由于爬取效率的问题,我决定使用splash来爬数据,可是英文文档里我没有找到splash对应selenium的WebDriverWait这样类似的方法,请问下老师splash等待某一段数据加载完了再爬取,这样的需求具体用哪个方法来实现呢?


如图:selenium我是这么做的,求splash对应的方法...

http://img.mukewang.com/szimg/5b456ebe00013f8909090219.jpg

写回答

1回答

bobby

2018-07-13

不建议使用scrapy-splash来完成了 可以使用chromedriver的headless版本

0
8
bobby
回复
慕神6516775
我这里也没有将selenium用twisted重写过,所以也只能先给你提供一下已开源的解决方案
2018-08-03
共8条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程