scrapy暂定与重启

来源：9-7 scrapy url去重原理

宝慕林0794768

2018-12-07

我想问一下老师，scrapy的暂停与重启，影响数据库的存入吗比如我用异步来存储，突然暂停了，在重启的时候，存入数据库是接着上一个数据存还是从新开始？第二个问题，我用selenium登入获取cookies，在暂停了重启，那它会是起始的url进入还是接着上一段的url出现下一个带爬取的url

写回答

1回答

bobby

2018-12-08

第一个问题，异步保存是会快速将数据提交给msyql执行，所有这个时候如果sql提交给sql执行了。这个时候如果scrapy停止了， mysql是会继续执行已经提交的sql，这个时候重启scrapy会继续从之前的url进行

第二个问题，scrapy暂停机制使得我们可以从之前的url开始而不是从start_urls开始

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 1