要把scrapy爬虫改成多线程的，请问要怎么改？

来源：14-13 scrapy写入数据到elasticsearch中 - 2

qq_鸣神剑二_0

2018-05-31

写回答

1回答

bobby

2018-06-01

不要用多线程除非你的爬虫过程中有同步操作这些操作你可以直接交给twisted去做也可以直接继承celery去做，没有必要去用多线程做，多线程没有scrapy并发高的，你要明白twisted是异步io性能比多线程高很多的

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2