老师, 爬虫专门开启了一个进程, 如果我开了3个进程来执行爬虫任务, 那么将来部署到服务器, 服务器应该选几核的啊? 至少是4核的么?
来源:9-5 [第 2 次迭代] 分拆项目服务层与路由层对外暴露 API 服务

慕莱坞7908925
2018-08-08
写回答
1回答
-
Scott
2018-08-08
如果你是开子进程跑的话,是不用太关心核数问题,单核也能跑
如果你是开单独的进程,不是子进程,比如 PM2 的进程,那么可能需要处理好进程通信、调度和资源重复爬取的事情,这时候 4 核的是可以满足你的需求的
00