使用puppeter爬取懒加载数据

来源：6-2 利用 puppeteer 爬取和分析电影列表

qq_人生如白纸丶被黑色渲染_03550679

2018-09-05

要爬取的网站图片是采用lazyload的方式，要怎么实现抓取真是图片呢

写回答

1回答

qq_人生如白纸丶被黑色渲染_03550679

提问者

2018-09-05

await page.evaluate(() => {
return new Promise(resolve => {
let scrollHeightTotal = 0;
let scrollHeight = 200;
let interval = setInterval(() => {
if (scrollHeightTotal < document.body.scrollHeight) {
window.scrollBy(0, scrollHeight);
scrollHeightTotal += scrollHeight
} else {
clearInterval(interval)
resolve()
}
}, 200)
})
});

在爬取真实数据之前执行了滚动让它将lazyload的图片加载出来。解决了问题

姚莹111

谢谢！正是我需要的。

2018-11-08

共1条回复

Koa2框架从0开始构建预告片网站

Koa2+MongoDB+Parcel+Puppeteer+AntDesign快速搭建预告片网站

751 学习 · 362 问题

查看课程

相似问题

关于Node爬虫

回答 1