暂停之后还是重新开始抓取了

来源：17-1 课程总结

慕用2063631

2020-06-24

scrapy crawl tianyan -s JOBDIR=tianyan_info/001

老师，我使用这个，抓取到一半之后，停掉了，再次去抓取的时候，又是重头开始抓了，这是咋回事诶，该怎么解决呢

写回答

1回答

bobby

2020-06-27

停止了你看看有没有生成文件？其实断点续抓我更推荐使用scrapy-redis scrapy本身的太弱了我在课程中补录的也提到过这种

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 3

回答 1

回答 1

回答 1

回答 3