动态网页加载

来源：9-5 其余动态网页获取技术介绍-chrome无界面运行、scrapy-splash、selenium-grid, splinter

慕数据8106153

2019-04-24

老师我想用 selenium加载动态网页滚轮下滑到底就会出现新内容这样的网站是通过selenium模拟下滑然后出现新内容之后解析吗但是我要怎么判断哪些内容之前爬没爬过呢因为每次出现的内容都是在之前基础上添加的

写回答

1回答

bobby

2019-04-26

这种属于动态加载的方式，你可以直接分析出url，然后用scrapy的request发送这个url就行了，你后面的这个新内容的问题可以直接通过数据库去重，有数据就更新的方式就行了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 3

回答 2