关于Node爬虫

来源：6-2 利用 puppeteer 爬取和分析电影列表

心有猛虎_细嗅蔷薇

2018-05-07

才疏学浅，对这一小节的 trailer-list.js 以及问答区感觉到很陌生—— 反爬机制？封IP？pupeteer API第一次接触。

之前也没爬过任何网站的数据，希望Scott老师补录下这节需要具备的基础知识。

听视频有点懵，看源码一头雾水，更别提能单独默写出来啦

P.S

使用puppeteer.launch()运行puppeteer，它会return一个promise？
通过browser.newPage()方法，可以得到一个page实例？
使用page.goto()方法？
在page.evaluate()方法中注册回调函数，并分析dom结构？
args: ['--no-sandbox'],非沙箱模式？
waitUntil: 'networkidle2' ？

这些小细节其实都可以照顾下小白哒，配上注释会更友好些~~

写回答

1回答