关于分布式的使用

来源：10-9 集成bloomfilter到scrapy-redis中

qq_拱手河山讨欢_0

2019-05-19

分布式：应该是同一个任务，分成几部分，部署到不同的服务器上，比如有一个服务器专门来下载，有一个专门来解析过滤。

但是我看老师讲的其实就是共享一个rquest队列。每台服务器都是做一样的事，下载过滤。入库。我就有点不明白了？

写回答

1回答

bobby

2019-05-22

分布式的逻辑不是说一个任务分解成几个部分，你说的这个算是任务拆解，不算是分布式，分布式是各个服务器做同样的事情，但是这些服务器该同步的还是需要同步，比如多个服务器都修改同一个变量就要做到多个服务器之间需要同步，比如使用分布式锁来完成同步，就像分布式的elasticsearch各个服务器都能做保存和查询数据的功能

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

关于分布式爬虫的管理问题。

回答 2

关于主从分布式

回答 2

关于分布式

回答 1

关于分布式爬虫

回答 1

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

打开慕课网App查看更多内容