scrapy暂停并重启服务器布隆过滤器去重

来源：9-6 scrapy的暂停与重启

慕丝8011162

2018-04-27

老师您好，服务器重启后，内存数据丢失，如果是使用了布隆过滤器去重，在重启后布隆过滤器能恢复吗？怎么实现？

写回答

1回答

bobby

2018-04-28

已采纳

布隆过滤器在内存中电脑重启就没有了，所有有两种方法第一种用redis作为bloomfilter的去重内存，redis会保证数据不丢失第二种是重启的时候从数据库中恢复已经存在的数据到内存中？建议采用第一种

慕丝8011162

非常感谢！

2018-04-29

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1