老师我想问问，关于分布式爬虫的问题

来源：10-6 scrapy-redis源码剖析-dupefilter.py-

qq_多大_0

2020-02-25

如果我只有一台电脑来实现分布式爬虫，下面这种方案可行吗？

创建一个scrapy工程是master（代理管理器：爬取分页面的url）,也创建一个是slaves（从redis拿分页面的url爬），然后master工程先运行爬取，结束以后再运行slaves工程，这样可以吗？

写回答

1回答

bobby

2020-02-25

一个运行完成以后再运行另一个就不是分布式爬虫，你可以同时运行两个爬虫

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 3

回答 1

回答 2

回答 1