爬虫问题

来源:10-5 爬虫代码实现1

慕用1115407

2018-02-19

老师,我在爬虫那节碰到了一个问题,我发现爬不到图片,使用截图方法后发现跳转到百度图片浏览页面后没有图片,不知道哪里出了问题。

代码如下:

const puppeteer = require('puppeteer');

const {mn,screenshot} = require('./config/default');

const srcToImg = require('./config/srcToImg');


(async () => {

const browser = await puppeteer.launch();

const page = await browser.newPage();

await page.goto('https://image.baidu.com/');

await page.setViewport({

width: 1920,

height: 2000

});

await page.focus('#kw.s_ipt');

await page.keyboard.sendCharacter('狗年');

await page.click('.s_search');

page.on('load', async () => {

console.log('可以获取图片了');

let src = await page.evaluate(() => {

let images = document.querySelectorAll('img.main_img');

return Array.prototype.map(images ,img => img.src)

});

src.forEach(src=>{

srcToImg(src, mn);

})

});

await page.screenshot({path:`${screenshot}/${Date.now()}.png`});

await browser.close();

})();

截取的图片如下:

//img.mukewang.com/szimg/5a8a72430001cde619202000.jpg


写回答

2回答

Samaritan

2018-03-15

ok~~

0
0

慕用1115407

提问者

2018-02-25

已经解决

0
0

Node.js入门到企业Web开发中的应用

Node.js是Web应用开发的一个福音,特别适合中小型系统的快速开发!

1580 学习 · 303 问题

查看课程