scrapy并发

首页课程实战体系课手记专栏慕课教程

scrapy并发

来源：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

生晟

2019-11-05

开10个并发，进行翻页爬取，有一些页数少的先爬完了，就空闲下来了，速度就降为单线程的，怎么利用这一部分空闲的呢？

写回答

1回答

bobby

bobby

2019-11-06

scrapy本身是单线程的，所以不会有线程空闲的说法

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

相似问题

m1 mac安装scrapy失败

回答 2

bobby 老师 scrapy 怎么实现高并发爬虫

回答 1

scrapy用yield返回

回答 2

scrapyd部署scrapy后无法关闭爬虫

回答 1

scrapy selenium登录

回答 1

打开慕课网App查看更多内容