普通爬虫改为分布式爬虫只抓几百页就停止抓取了

来源：9-7 scrapy url去重原理

xmzls

2018-11-25

老师你好，我最近通过学习老师的案例，自己写了一个普通爬虫，如果只是普通爬虫，是可以爬取全站数据的，但如果是分布式的爬虫(用redis做默认调度器)，就会只爬一千个网页，就不会再进行抓取了，可能这是什么原因，麻烦老师指点下，谢谢。

写回答

1回答

xmzls

提问者

2018-11-25

项目github地址: https://github.com/yangyang510/scrapyredis/blob/master/jumia/spiders/jumiaspider.py

麻烦老师指点下，是我哪里有问题么，非常感谢。

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1