重新启动爬虫怎样过滤已经存到数据库中的数据

来源：8-3 Requests和Response介绍

慕粉1472870758

2017-05-21

第一天启动爬虫会将相应的数据存到mysql数据库，第二天再次启动爬虫怎样做到不再抓全部数据，只抓取新产生的数据？

写回答

1回答

bobby

2017-05-22

亲你看过scrapy-redis章节就能解决这个问题了，会将url保存到redis中或者你可以通过暂停和重启方式启动scrapy

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5820 学习 · 6291 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1