老师，分布式的理解是什么

来源：8-11 分布式爬虫的架设（下）

慕慕7513118

2022-03-29

分布式的就是在一台电脑上开启多个任务者爬虫吗？这样算是伪分布式吗？不应该是在多台电脑上才是分布式吗

写回答

1回答

小布_老师

2022-03-29

你开发的一个系统，当前电脑可以运行，其他电脑也可以运行，但是不能合作。

你开发了一个爬虫，a服务器启动爬虫，连接a点数据库，再启动b服务器爬虫，连接b点数据库。这不是分布式。

你开发另一个爬虫，a服务器启动爬虫，连接z点数据库，再启动b服务器爬虫，连接z点数据库，且这个z点数据库，一共N条待处理数据，连接该数据库的爬虫，都是在处理这些数据；你启动更多的爬虫，都是处理该数据库中的数据，这个架构的爬虫叫做分布式爬虫。

Python高级爬虫实战-系统掌握破解反爬技能挑战高薪

加密破解、逆向重构、分布式框架及海量存储方案

494 学习 · 105 问题

相似问题

回答 3

回答 1

回答 1

回答 1

回答 1