所有爬虫规则可以采用同一个Bloomfilter去重吗？

来源：10-9 集成bloomfilter到scrapy-redis中

玖河

2019-03-21

按照教程里面的步骤做了，但是如果是两个以上的爬虫的话就会创建两个以上的Bloomfilter做空间，这种情况怎么处理才能全部爬虫规则都使用一个Bloomfilter？

写回答

1回答

bobby

2019-03-25

你可以使用基于redis的bloomfilter，只要所有的爬虫的bloomfilter使用同一个就行了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1