关于scrapy-redis：在pycharm停止了main或意外退出后重新开始运行main，会从刚刚中断的地方继续开始吗？

来源：10-4 scrapy-redis编写分布式爬虫代码

有事烧纸

2017-06-27

如题，使用了redis后，加入第一次的爬取中断了，下一次运行爬虫要怎样才能接上？没有搞清楚老师说的暂停和重启，希望老师解释一下

写回答

1回答

bobby

2017-06-28

已采纳

加入redis之后，你可以随意停止scrapy-redis 下次启动后会从之前的url开始接着爬取，因为所有的url都是放到redis中排队了

有事烧纸

非常感谢！

2018-03-22

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2