动态网页爬取的问题
来源:9-5 其余动态网页获取技术介绍-chrome无界面运行、scrapy-splash、selenium-grid, splinter
慕神6516775
2018-07-11
老师,为了等待某些数据动态加载完成之后再爬取,我使用了selenium的WebDriverWait方法,达到了我的目的.但是由于爬取效率的问题,我决定使用splash来爬数据,可是英文文档里我没有找到splash对应selenium的WebDriverWait这样类似的方法,请问下老师splash等待某一段数据加载完了再爬取,这样的需求具体用哪个方法来实现呢?
如图:selenium我是这么做的,求splash对应的方法...
写回答
1回答
-
bobby
2018-07-13
不建议使用scrapy-splash来完成了 可以使用chromedriver的headless版本
082018-08-03
相似问题