多维BloomFilter怎么实现

来源：10-9 集成bloomfilter到scrapy-redis中

elioliver

2019-06-04

想求一下多维BloomFilter的实现思路，还有怎么利用多维Bloom来解决 ”一个博文在一个月内只采集一次，当月再次遇到它时不会二次采集，一个月后再碰到会进行采集“这种问题。渣渣提问，希望老师能说详细一点，谢谢啦！

写回答

1回答

bobby

2019-06-05

bloomfilter没有这么强大可以解决你的这个需求。bloomfilter只是用来去重的，其他功能没有，如果想要满足你的这个需求你要从业务端考虑。因为其实你要保存上一次存进去的时间，这个使用redis合理，如果量不大的话就没有必要时用bloomfilter了，直接使用redis去重既简单又强大

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 4

回答 1

回答 1

回答 8

回答 1