scrapy暂停时 写入数据会不会出现问题

来源:9-6 scrapy的暂停与重启

慕函数6914526

2018-02-02

我抓取所有页面的时候并用selenium相关操作获得页面的数据,然后将其数据入库,我的问题是,scrapy暂停后重启,数据的断点是否正确,(我知道爬取的网页的断点正确,但是不清楚是否数据获得也正确)(emmm,例如,从1到100000,爬取早就到50000了,入库还在5000,这时候暂停后恢复,爬取继续从50000开始,可是数据还会从5000开始吗,还是从50000开始)

写回答

1回答

bobby

2018-02-05

不会出问题的 你可以抓取100个试试

0
5
bobby
回复
慕函数6914526
你是想知道如何将数据反序列化 还是想知道如何从redis中取出数据,数据放入到redis的源码在scrapy_redis的pipelines中 源码里面也提供了一个decoder直接反序列化数据
2018-03-26
共5条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程