老师,可以用scrapy+selenium进行拉钩全站爬取吗,拉勾网反爬机制复杂了,不好分析!

来源：7-5 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程)

系统崩溃

2019-07-24

使用浏览器去请求,然后分析浏览器返回的经过处理的html数据,对拉勾网进行全站爬取会不会效率太低啊(老是启动浏览器)!

写回答

1回答

bobby

2019-07-25

为什么会不停的启动浏览器呢？第一次启动以后就不用再次启动了我最近也会分析一下拉钩的反爬机制

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1