中间件

来源：9-4 selenium集成到scrapy中

mmm拇

2019-10-25

老师您好，请问下：

1、scrapy中间件处理数据是单线程还是多线程的，将selenium集成到中间件中，等待返回respond是否会影响爬取效率

2、scrapy的downloer是多线程的吗，如何设置线程数

写回答

1回答

bobby

2019-10-28

scrapy的中间件是单线程的，所以集成selenium会影响效率，所以一般都只是在模拟登录的时候才会使用selenium或者将模拟登录的逻辑单独做一个服务，使用redis将cookie池共享， downloader是异步io完成的，一个线程就能做到并发

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1