scrapy多进程如何实现

来源：9-6 scrapy的暂停与重启

慕尼黑530398

2017-12-29

老师好：scrapy多进程如何实现呢，在一个8核心的电脑上运行，只用了一个核心很浪费。如何才能将scrapy和多进程结合起来呢？

写回答

1回答

bobby

2018-01-02

为什么要开多进程呢？多进程对爬虫来说不会有性能的提升，对于io型的系统来说你不管你用多少个cpu都不能提升性能性能都会在io上和cpu无关除非你是cpu密集型的系统比如图片处理计算等

bobby

慕尼黑530398

你启动一次scrapy就是一个进程

2018-01-08

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1