我尝试用相同的方法爬取boss直聘,但不成功

来源：6-6 puppeteer 深度爬取封面图和视频地址

233911007

2019-11-20

我尝试用puppeteer 爬取boss直聘网站,但是不成功, 打开puppeteer 可视化界面可以看到是反复调用debug方法了, 应该是boss直聘检测到是在调试,禁止爬虫了, 这样的要如何解决呢?

写回答

1回答

Scott

2019-11-23

本身爬虫和反爬虫都是博弈的关系，可以抱着学习的目的研究下，如果对方网站有了反爬策略，可以换一个网站试试 puppteer 的使用，另外爬的数量也要控制，现在爬数据是非常敏感的操作，国家很重视这块

Koa2框架从0开始构建预告片网站

Koa2+MongoDB+Parcel+Puppeteer+AntDesign快速搭建预告片网站

751 学习 · 362 问题

相似问题

回答 1

回答 1

回答 3

回答 1

回答 1