关于爬虫豆瓣详情页

来源：8-7 向数据库导入爬到的电影数据

慕圣9658594

2018-02-12

老师，当时爬虫豆瓣详情页的时候，是写死url的，我想问问，如果想遍历url爬取详情的内容应该怎么做，url应该是列表传进来的，应该怎么操作

写回答

1回答

Scott

2018-02-13

可以把 url 放到一个数组里面，一个一个爬取执行，如果 url 比较多，也可以分组，比如 10 个一组，每一组批量执行，await Promise.all([]) 去一组组获取

Koa2框架从0开始构建预告片网站

Koa2+MongoDB+Parcel+Puppeteer+AntDesign快速搭建预告片网站

751 学习 · 362 问题

相似问题

回答 1

回答 1

回答 3

回答 1

回答 1