老师，我集成了PyBloomFilter之后开启爬虫，机器8G内存瞬间没了！

来源：10-9 集成bloomfilter到scrapy-redis中

lixing_0001

2017-07-18

问题补充（选填）：请详细描述你的问题，贴出相关代码或截图，并告知你的操作步骤

写回答

3回答

bobby

2017-07-20

已采纳

bloomfitler初始化的时候有一个内存的空间你设置小一点看看呢

python小白菜

2018-03-28

//img.mukewang.com/szimg/5abb9079000174ac08880526.jpg

__init__里面，capacity设成一百万，刚拿来的时候是设成一亿，所以内存爆了

python小白菜

2018-03-28

怎么设置bloomfilter初始化内存空间？

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 3

回答 1

回答 1

回答 1