scrapy-redis怎么做增量爬取

首页课程实战体系课手记专栏慕课教程

scrapy-redis怎么做增量爬取

来源：10-9 集成bloomfilter到scrapy-redis中

TT2_X

2018-05-16

对网站进行爬取完过后,过几天网站添加了很多数据,但是这个url的request又在去重的redis服务中,一直获取不到最新的数据,这个怎么解决?

写回答

1回答

TT2_X

TT2_X

提问者

2018-05-16

感觉scrapy一点都不好做增量爬取

0

4

TT2_X

回复

bobby

谢谢老师,我用第一种

2018-05-18

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

scrapyd部署scrapy后无法关闭爬虫

回答 1

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

回答 2

如何实现提供restful接口，并实现增量爬取

回答 1

Scrapy+Redis实现增量爬取，不执行callback函数（Debug模式打断点会执行）

回答 1

scrapy redis部署和scrapy的部署有什么不同？

回答 1

打开慕课网App查看更多内容