scrapyd分布式消耗的是安装了scrapyd服务器端的网络和其他资源吗？

来源：16-1 scrapyd部署scrapy项目

玖河

2019-04-18

我用selenium后发现浏览器是在安装了scrapyd的服务器端运行的，这样说来的话消耗的只是服务器端的资源吗？那多点分布式的优势在于哪里呢（分布式只是在于提取格式化数据而已吗）？还是可以设置消耗客户端这边的资源的？

写回答

1回答

bobby

2019-04-20

scrapyd 客户端不会消耗任何资源，因为代码都是运行在服务器的，分布式的优点就是可以合理利用各个服务器的资源，比如cpu，比如ip，比如内存等都是各个服务器的资源，分布式可以利用这些资源

bobby

玖河

scrapyd 既有服务端也有客户端，服务端复制和scrapy的客户端通信

2019-04-22

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 2

回答 2