BloomFilter实在是讲的太少?

来源：10-9 集成bloomfilter到scrapy-redis中

TT2_X

2018-05-16

我在本地运行带BloomFilter的scrapy-redis项目,结果运行内存一下子就10多g,难怪服务器上的redis会自动关闭,我本地的redis都是10g怎么不崩溃,老师实在是讲的不是很清楚,有点失望

写回答

4回答

bobby

2018-05-18

已采纳

你把bloomfilter的初始化capacity数量设置小一点，默认设置的很大会预分配很多内存，课程中讲解过原理。不算我讲解的不清楚吧。 //img.mukewang.com/szimg/5afe6be40001adf211390709.jpg

TT2_X

非常感谢！

2018-05-18

共1条回复

TT2_X

提问者

2018-05-18

我想要自己知道它到底用了多少内存，这里的代码不是准确的

TT2_X

我用RedisDesktopManage查看过

2018-05-18

共1条回复

TT2_X

提问者

2018-05-18

每个块512m内存，但是你这个会分配很多个块

bobby

占用多少内存你看一下bloomfilter的源码打个断点就知道了啊。内部变量会计算需要申请多少个512内存块

2018-05-18

共1条回复

TT2_X

提问者

2018-05-16

这样的scrapy项目实战根本就没有实战性

bobby

幕布斯7534782

谢谢理解

2018-05-18

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

Bloom Filter 原理是什么？

回答 1

多维BloomFilter怎么实现

回答 1

bloomfilter效率

回答 1

为什么redis服务会给我返回一个空的结果,导致redis服务关闭

回答 8

redis 运行到一定时间就出错

回答 1

打开慕课网App查看更多内容