如何暂停scrapyd的爬虫(scrapy

如何暂停scrapyd的爬虫(scrapy_redis)?

来源：16-1 scrapyd部署scrapy项目

慕丝8011162

2018-03-01

请问通过使用scrapy_redis的爬虫部署到scrapyd上，如何设置像在本地一样，让爬虫暂停及恢复呢？因为是保存在redis上的，所以设置JOBDIR是不行的。

写回答

1回答

bobby

2018-03-05

scrapy_redis没有暂停这个功能你需要修改源码去实现，比如向redis中放入一个指定的数据读到这个数据就暂停一段时间

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1