老师，scrapy的并发是多线程吗

来源：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

生晟

2019-09-29

老师，scrapy的并发是多线程吗

写回答

1回答

bobby

2019-10-01

已采纳

scrapy的高并发不是多线程，而是基于twisted的事件循环+epoll实现的，这个比多线程并发高，但是有很大的限制就是在代码中不能写同步方法，不然很多时候会适得其反。但是很多库都是同步的接口，所以为了解决这个问题twisted在启动的时候会启动一个线程池，如果遇到有同步的方法可以扔到这个线程池中去执行，不过这些需要你对twisted比较熟悉才行

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

老师，scrapy使用代理api

回答 2

bobby 老师 scrapy 怎么实现高并发爬虫

回答 1

要把scrapy爬虫改成多线程的，请问要怎么改？

回答 1

老师，使用docker打包scrapy后

回答 2

m1 mac安装scrapy失败

回答 2

打开慕课网App查看更多内容