老师：关于scrapy-redis的问题

首页课程实战体系课手记专栏慕课教程

老师：关于scrapy-redis的问题

来源：10-1 分布式爬虫要点

慕粉1724417796

2017-06-03

scrapy-redis有个选项可以是SCHEDULER_PERSIST = True，但是我就算是False清除队列的话也可以暂停的啊

不知道为True的意义何在

写回答

1回答

bobby

bobby

2017-06-04

对清除可以暂停但是如果有些人需要暂停但是又不希望之前爬取的url全部没有了然后重新爬取这个值就有意义了

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

scrapy redis部署和scrapy的部署有什么不同？

回答 1

scrapyd部署scrapy后无法关闭爬虫

回答 1

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

回答 1

redis-scrapy 分布式爬虫之缓存问题

回答 3

基于Scrapy-redis的爬虫，模拟登陆如何设置cookies

回答 1

打开慕课网App查看更多内容