scrapy暂停时 写入数据会不会出现问题
来源:9-6 scrapy的暂停与重启
慕函数6914526
2018-02-02
我抓取所有页面的时候并用selenium相关操作获得页面的数据,然后将其数据入库,我的问题是,scrapy暂停后重启,数据的断点是否正确,(我知道爬取的网页的断点正确,但是不清楚是否数据获得也正确)(emmm,例如,从1到100000,爬取早就到50000了,入库还在5000,这时候暂停后恢复,爬取继续从50000开始,可是数据还会从5000开始吗,还是从50000开始)
写回答
1回答
-
bobby
2018-02-05
不会出问题的 你可以抓取100个试试
052018-03-26
相似问题
关于去重的两点疑惑
回答 1
scrapy暂定与重启
回答 1