老师puppeteer要怎么使用代理呢

来源：6-6 puppeteer 深度爬取封面图和视频地址

十六夜月华

2018-10-07

我在做一个本校的课表微信小程序，后台要根据学号密码登陆到教务系统爬取课表等信息，但是校园网也有反爬，访问人数一多ip就被封了。我想问一下Scott老师，如果我买了代理的话，用puppeteer来爬取的话应该怎么设置代理呢。

写回答

1回答

Scott

2018-10-08

代理也可能有问题，要看教务系统是不是设置了校园内网权限，如果没有设置的话，是可以尝试代理设置。

另外，你爬取的频次很高么，如果设置的时间间隔再大一些，然后在你两三个寝室里面，大家电脑上都部署上脚本，比如 6 台电脑 24 小时爬，是不是很快就能把你要的数据都拿到手呢

Koa2框架从0开始构建预告片网站

Koa2+MongoDB+Parcel+Puppeteer+AntDesign快速搭建预告片网站

751 学习 · 362 问题

相似问题

回答 1

回答 2

回答 3

回答 4

回答 1