老师，看scrapy-redis配置好像自带就有暂定功能吧

来源：10-9 集成bloomfilter到scrapy-redis中

慕粉1724417796

2017-05-03

写回答

1回答

bobby

2017-05-05

scrapy-redis 实际上直接停止就可以了，因为所有的中间状态都保存在redis中的，不像scrapy中间状态保存在内存中，所以需要处理停止的情况，所以scrapy-redis暂停比scrapy自然的多

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 1