爬虫任务具体在和网站部署实现的步骤是什么样的？

来源：6-3 child_process fork 子进程来运行爬虫脚本

慕圣9658594

2018-02-12

每次开启服务都要进行数据抓取吗？爬虫脚本的执行和网站功能的脚本有什么关系？如果之前爬到过数据库那岂不是开服务后还要在爬取数据？如果是多个爬虫任务还需要在入口文件一一修改才能导入数据库？老师能否把这一块的步骤梳理一下

写回答

1回答

Scott

2018-02-12

初次上线，爬一次数据就行了，先爬好，导入到数据库。

上线后，需要给他设置一个定时任务，比如 node-schedule，每天固定时间爬一次，网站后端服务正常跑，只不过定时任务会自动触发自己跑。

也可以把定时任务独立出来成一个单独的小项目，用另外一个 node 服务来跑

Koa2框架从0开始构建预告片网站

Koa2+MongoDB+Parcel+Puppeteer+AntDesign快速搭建预告片网站

751 学习 · 362 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1