SCRAPY-REDIS做了分布式爬虫爬虫的调度问题

首页课程实战体系课手记专栏慕课教程

SCRAPY-REDIS做了分布式爬虫爬虫的调度问题

来源：9-6 scrapy的暂停与重启

丶一夕夏

2017-06-02

爬虫在继承分布式之后，还能用SCRAPY的重启和暂停这些功能吗？

写回答

1回答

bobby

bobby

2017-06-04

没有必要用scrapy 重启和暂停了，因为所有的中间状态都保存在redis中了，爬虫可以一直启动着不需要重启，定时向redis中push url就行了

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

scrapyd部署scrapy后无法关闭爬虫

回答 1

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

请教老师一个问题

回答 1

redis-scrapy 分布式爬虫之缓存问题

回答 3

打开慕课网App查看更多内容