bloomfilter是把所有的url都放到redis里去重后再去分发下载吗

首页课程实战体系课手记专栏慕课教程

bloomfilter是把所有的url都放到redis里去重后再去分发下载吗

来源：10-9 集成bloomfilter到scrapy-redis中

幕布斯7534782

2018-05-18

写回答

1回答

bobby

bobby

2018-05-21

对通过redis去重然后将不重复的数据放到redis中

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

为什么redis服务会给我返回一个空的结果,导致redis服务关闭

回答 8

关于去重的两点疑惑

回答 1

scrapy-redis去重和redis分布式配置问题

回答 1

老师，bloomfilter去重的指纹也是放到redis里去的吧？

回答 1

Scrapy-Redis爬虫启动后，是如何做到进程不Close的

回答 2

打开慕课网App查看更多内容