关于redis有一点疑问

来源：10-4 scrapy-redis编写分布式爬虫代码

慕的地7986880

2017-07-10

redis是一个内存数据库,内存是有限,那request和item加入到redis中之后占用一定内存,,在被取出之后,是不是就删除了,这部分内存就被释放了吧? 去重的那部分应该一直是存在的,但是item和request应该是一边加入,一边删除的,我的分析对吗?

写回答

1回答

bobby

2017-07-11

已采纳

对 request和item肯定是取完就是删除了使用的pop方法，去重的肯定要一直留在内存中的，因为使用了bloomfilter所以即使把所有url放到内存中也不会占用很多内存的

慕的地7986880

非常感谢！

2017-07-11

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 8

回答 1

回答 2

回答 3

回答 2