老师请问下我看到一个代替bloomfilter的算法

来源:10-9 集成bloomfilter到scrapy-redis中

小鱼鱼0430

2018-07-05

Hyperloglog

HyperLogLog是一个基数估计算法。其空间效率非常高,1.5K内存可以在误差不超过2%的前提下,用于超过10亿的数据集合基数估计。

老师请问这个是什么 ?怎么以前没听过也没查到过,是不是爬虫只用bloomfilter?

写回答

1回答

bobby

2018-07-06

这个算法我之前还没有见过了,不过2%的错误率看起来有点高, bloomfilter算法已经够用了, 我回头看看这个算法,谢谢提醒

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程