关于nodeJS流的操作

来源:5-1 http-概述

慕丝8517086

2020-10-21

就是我用nodeJS,做爬虫,爬了很多图片链接,然后我使用request库和fs.createWriteStream想把图片保存在本地,但是最后会报一个code -4077的错说流管道未关闭,但是我也用了事件监听写入流的关闭,最后发现是可能图片一次性写入太多,然后有的写入完成的请求就回不来了,所以想问问老师,有没有方法可以帮我解决这个问题
下面是报错信息

http://img.mukewang.com/szimg/5f8f374d08b7715c06860208.jpg

写回答

2回答

前端工程师666777888

2020-10-24

https://coding.imooc.com/learn/list/146.html

这个课程里有有关爬虫的问题

http.get('爬到的图片http路径', res => {

    res.pipe(fs.createWriteStream('本地文件图片名.png'))

      .on('finish', () => {

        console.log('file');

      })

  });


2
0

双越

2020-10-21

你这种场景,感觉得用一个消息队列。

请求完推入队列,然后队列单独的来一个一个的依次执行。

2
3
慕丝8517086
回复
双越
好的,谢谢老师
2020-10-21
共3条回复

Node.js+Express+Koa2+Nest.js 开发服务端

从入门到实战,一站式掌握 Node.js+Express+Koa2

4086 学习 · 2014 问题

查看课程