分布式爬虫
来源：8-11 分布式爬虫的架设（下）
qq_慕函数4181556
2023-03-26
老师你好，分布式爬虫在部署的时候 可不可以一台服务器上部署很多个工作者爬虫，然后再拿一台服务器单独部署一个任务发布爬虫。还是必须要一台机器 一个工作者爬虫？
写回答
1回答
-
小布_老师
2023-03-28
分布式爬虫的框架优势，就是可以随意拓展。
你可以自由控制服务器的数量，需要的时候可以增加服务器，没任务可以减少服务器。
这里的一台电脑部署，是因为方便，而且小规模，单台服务器就够了。
00
相似问题