1.如何设计并实现一个线程安全的 Map
2.详解布隆过滤器的源码原理和实现
3.布隆过滤器（Bloom Filter）详解

如何设计并实现一个线程安全的 Map

       Map 是一个非常常用的数据结构，一个无序的 key/value 对的集合，其中 Map 所有的 key 都是不同的，然后通过给定的 key 可以在常数时间 O(1) 复杂度内查找、更新或删除对应的 value。

       è¦æƒ³å®žçŽ°å¸¸æ•°çº§çš„查找，应该用什么来实现呢？读者应该很快会想到哈希表。确实，Map 底层一般都是使用数组来实现，会借用哈希算法辅助。对于给定的 key，一般先进行 hash 操作，然后相对哈希表的长度取模，将 key 映射到指定的地方。

       å“ˆå¸Œç®—法有很多种，选哪一种更加高效呢？

       1. 哈希函数

       MD5 和 SHA1 可以说是目前应用最广泛的 Hash 算法，而它们都是以 MD4 为基础设计的。

       MD4(RFC ) 是 MIT 的Ronald L. Rivest 在 年设计的，MD 是 Message Digest（消息摘要） 的缩写。它适用在位字长的处理器上用高速软件实现——它是基于 位操作数的位操作来实现的。

       MD5(RFC ) 是 Rivest 于年对 MD4 的改进版本。它对输入仍以位分组，其输出是4个位字的级联，与 MD4 相同。MD5 比 MD4 来得复杂，并且速度较之要慢一点，但更安全，在抗分析和抗差分方面表现更好。

       SHA1 是由 NIST NSA 设计为同 DSA 一起使用的，它对长度小于的输入，产生长度为bit 的散列值，因此抗穷举 (brute-force)

       æ€§æ›´å¥½ã€‚SHA-1 设计时基于和 MD4 相同原理,并且模仿了该算法。

       å¸¸ç”¨çš„ hash 函数有 SHA-1，SHA-，SHA-，MD5 。这些都是经典的 hash 算法。在现代化生产中，还会用到现代的 hash 算法。下面列举几个，进行性能对比，最后再选其中一个源码分析一下实现过程。

       ï¼ˆ1） Jenkins Hash 和 SpookyHash

       å¹´ Bob Jenkins 在《 Dr. Dobbs Journal》杂志上发表了一片关于散列函数的文章《A hash function for hash Table lookup》。这篇文章中，Bob 广泛收录了很多已有的散列函数，这其中也包括了他自己所谓的“lookup2”。随后在年，Bob 发布了 lookup3。lookup3 即为 Jenkins Hash。更多有关 Bob’s 散列函数的内容请参阅维基百科：Jenkins hash function。memcached的 hash 算法，支持两种算法：jenkins, murmur3，默认是 jenkins。

       å¹´ Bob Jenkins 发布了他自己的一个新散列函数

       SpookyHash（这样命名是因为它是在万圣节发布的）。它们都拥有2倍于 MurmurHash 的速度，但他们都只使用了位数学函数而没有位版本，SpookyHash 给出位输出。

       ï¼ˆ2） MurmurHash

       MurmurHash 是一种非加密型哈希函数，适用于一般的哈希检索操作。

       Austin Appleby 在年发布了一个新的散列函数——MurmurHash。其最新版本大约是 lookup3 速度的2倍（大约为1 byte/cycle），它有位和位两个版本。位版本只使用位数学函数并给出一个位的哈希值，而位版本使用了位的数学函数，并给出位哈希值。根据Austin的分析，MurmurHash具有优异的性能，虽然 Bob Jenkins 在《Dr. Dobbs article》杂志上声称“我预测 MurmurHash 比起lookup3要弱，但是我不知道具体值，因为我还没测试过它”。MurmurHash能够迅速走红得益于其出色的速度和统计特性。当前的版本是MurmurHash3，Redis、Memcached、Cassandra、HBase、Lucene都在使用它。

       ä½œè€…：一缕殇流化隐半边冰霜

详解布隆过滤器的原理和实现

       为什么需要布隆过滤器

       想象一下遇到下面的场景你会如何处理：

       手机号是否重复注册

       用户是否参与过某秒杀活动

       伪造请求大量 id 查询不存在的记录，此时缓存未命中,源码如何避免缓存穿透

       针对以上问题常规做法是：查询数据库，数据库硬扛，源码如果压力并不大可以使用此方法，源码保持简单即可。源码

       改进做法：用 list/set/tree 维护一个元素集合，源码python 延时队列源码判断元素是源码否在集合内，时间复杂度或空间复杂度会比较高。源码如果是源码微服务的话可以用 redis 中的 list/set 数据结构, 数据规模非常大此方案的内存容量要求可能会非常高。

       这些场景有个共同点，源码可以将问题抽象为：如何高效判断一个元素不在集合中？ 那么有没有一种更好方案能达到时间复杂度和空间复杂双优呢？

       有！源码布隆过滤器。源码djangoorm源码解析

什么是源码布隆过滤器

       布隆过滤器（英语：Bloom Filter）是 年由布隆提出的。它实际上是源码一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是源码否在一个集合中，它的优点是空间效率和查询时间都远远超过一般的算法。

       工作原理

       布隆过滤器的原理是，当一个元素被加入集合时，通过 K 个散列函数将这个元素映射成一个位数组中的 K 个点（offset），把它们置为 1。检索时，我们只要看看这些点是不是都是 1 就（大约）知道集合中有没有它了：如果这些点有任何一个 0，则被检元素一定不在；如果都是iquery 源码学习 1，则被检元素很可能在。这就是布隆过滤器的基本思想。

       简单来说就是准备一个长度为 m 的位数组并初始化所有元素为 0，用 k 个散列函数对元素进行 k 次散列运算跟 len(m)取余得到 k 个位置并将 m 中对应位置设置为 1。

布隆过滤器优缺点

       优点：

       空间占用极小，因为本身不存储数据而是用比特位表示数据是否存在，某种程度有保密的效果。

       插入与查询时间复杂度均为 O(k)，常数级别，k 表示散列函数执行次数。

       散列函数之间可以相互独立，python kms 源码可以在硬件指令层加速计算。

       缺点：

       误差（假阳性率）。

       无法删除。

       误差（假阳性率）

       布隆过滤器可以 % 判断元素不在集合中，但是当元素在集合中时可能存在误判，因为当元素非常多时散列函数产生的 k 位点可能会重复。 维基百科有关于假阳性率的数学推导（见文末链接）这里我们直接给结论(实际上是我没看懂...)，假设：

       位数组长度 m

       散列函数个数 k

       预期元素数量 n

       期望误差ε

       在创建布隆过滤器时我们为了找到合适的 m 和 k ，可以根据预期元素数量 n 与 ε 来推导出最合适的 m 与 k 。

       java 中 Guava, Redisson 实现布隆过滤器估算最优 m 和 k 采用的就是此算法：

//计算哈希次数@VisibleForTestingstaticintoptimalNumOfHashFunctions(longn,longm){ //(m/n)*log(2),butavoidtruncationduetodivision!returnMath.max(1,(int)Math.round((double)m/n*Math.log(2)));}//计算位数组长度@VisibleForTestingstaticlongoptimalNumOfBits(longn,doublep){ if(p==0){ p=Double.MIN_VALUE;}return(long)(-n*Math.log(p)/(Math.log(2)*Math.log(2)));}

       无法删除

       位数组中的某些 k 点是多个元素重复使用的，假如我们将其中一个元素的kali源码软件 k 点全部置为 0 则直接就会影响其他元素。 这导致我们在使用布隆过滤器时无法处理元素被删除的场景。

       可以通过定时重建的方式清除脏数据。假如是通过 redis 来实现的话重建时不要直接删除原有的 key，而是先生成好新的再通过 rename 命令即可，再删除旧数据即可。

go-zero 中的 bloom filter 源码分析

       core/bloom/bloom.go 一个布隆过滤器具备两个核心属性：

       位数组：

       散列函数

       go-zero实现的bloom filter中位数组采用的是Redis.bitmap，既然采用的是 redis 自然就支持分布式场景，散列函数采用的是MurmurHash3

       Redis.bitmap 为什么可以作为位数组呢？

       Redis 中的并没有单独的 bitmap 数据结构，底层使用的是动态字符串（SDS）实现，而 Redis 中的字符串实际都是以二进制存储的。 a 的ASCII码是 ，转换为二进制是：，如果我们要将其转换为b只需要进一位即可：。下面通过Redis.setbit实现这个操作：

       set foo a \ OK \ get foo \ "a" \ setbit foo 6 1 \ 0 \ setbit foo 7 0 \ 1 \ get foo \ "b"

       bitmap 底层使用的动态字符串可以实现动态扩容，当 offset 到高位时其他位置 bitmap 将会自动补 0，最大支持 2^-1 长度的位数组（占用内存 M），需要注意的是分配大内存会阻塞Redis进程。 根据上面的算法原理可以知道实现布隆过滤器主要做三件事情：

       k 次散列函数计算出 k 个位点。

       插入时将位数组中 k 个位点的值设置为 1。

       查询时根据 1 的计算结果判断 k 位点是否全部为 1，否则表示该元素一定不存在。

       下面来看看go-zero 是如何实现的：

       对象定义

//表示经过多少散列函数计算//固定次maps=type(//定义布隆过滤器结构体Filterstruct{ bitsuintbitSetbitSetProvider}//位数组操作接口定义bitSetProviderinterface{ check([]uint)(bool,error)set([]uint)error})

       位数组操作接口实现

       首先需要理解两段 lua 脚本：

//ARGV:偏移量offset数组//KYES[1]:setbit操作的key//全部设置为1setScript=`for_,offsetinipairs(ARGV)doredis.call("setbit",KEYS[1],offset,1)end`//ARGV:偏移量offset数组//KYES[1]:setbit操作的key//检查是否全部为1testScript=`for_,offsetinipairs(ARGV)doiftonumber(redis.call("getbit",KEYS[1],offset))==0thenreturnfalseendendreturntrue`

       为什么一定要用 lua 脚本呢? 因为需要保证整个操作是原子性执行的。

//redis位数组typeredisBitSetstruct{ store*redis.Clientkeystringbitsuint}//检查偏移量offset数组是否全部为1//是:元素可能存在//否:元素一定不存在func(r*redisBitSet)check(offsets[]uint)(bool,error){ args,err:=r.buildOffsetArgs(offsets)iferr!=nil{ returnfalse,err}//执行脚本resp,err:=r.store.Eval(testScript,[]string{ r.key},args)//这里需要注意一下,底层使用的go-redis//redis.Nil表示key不存在的情况需特殊判断iferr==redis.Nil{ returnfalse,nil}elseiferr!=nil{ returnfalse,err}exists,ok:=resp.(int)if!ok{ returnfalse,nil}returnexists==1,nil}//将k位点全部设置为1func(r*redisBitSet)set(offsets[]uint)error{ args,err:=r.buildOffsetArgs(offsets)iferr!=nil{ returnerr}_,err=r.store.Eval(setScript,[]string{ r.key},args)//底层使用的是go-redis,redis.Nil表示操作的key不存在//需要针对key不存在的情况特殊判断iferr==redis.Nil{ returnnil}elseiferr!=nil{ returnerr}returnnil}//构建偏移量offset字符串数组,因为go-redis执行lua脚本时参数定义为[]stringy//因此需要转换一下func(r*redisBitSet)buildOffsetArgs(offsets[]uint)([]string,error){ varargs[]stringfor_,offset:=rangeoffsets{ ifoffset>=r.bits{ returnnil,ErrTooLargeOffset}args=append(args,strconv.FormatUint(uint(offset),))}returnargs,nil}//删除func(r*redisBitSet)del()error{ _,err:=r.store.Del(r.key)returnerr}//自动过期func(r*redisBitSet)expire(secondsint)error{ returnr.store.Expire(r.key,seconds)}funcnewRedisBitSet(store*redis.Client,keystring,bitsuint)*redisBitSet{ return&redisBitSet{ store:store,key:key,bits:bits,}}

       到这里位数组操作就全部实现了，接下来看下如何通过 k 个散列函数计算出 k 个位点

       k 次散列计算出 k 个位点

//k次散列计算出k个offsetfunc(f*Filter)getLocations(data[]byte)[]uint{ //创建指定容量的切片locations:=make([]uint,maps)//maps表示k值,作者定义为了常量:fori:=uint(0);i<maps;i++{ //哈希计算,使用的是"MurmurHash3"算法,并每次追加一个固定的i字节进行计算hashValue:=hash.Hash(append(data,byte(i)))//取下标offsetlocations[i]=uint(hashValue%uint(f.bits))}returnlocations}

       插入与查询

       添加与查询实现就非常简单了，组合一下上面的函数就行。

//添加元素func(f*Filter)Add(data[]byte)error{ locations:=f.getLocations(data)returnf.bitSet.set(locations)}//检查是否存在func(f*Filter)Exists(data[]byte)(bool,error){ locations:=f.getLocations(data)isSet,err:=f.bitSet.check(locations)iferr!=nil{ returnfalse,err}if!isSet{ returnfalse,nil}returntrue,nil}改进建议

       整体实现非常简洁高效，那么有没有改进的空间呢？

       个人认为还是有的，上面提到过自动计算最优 m 与 k 的数学公式，如果创建参数改为：

       预期总数量expectedInsertions

       期望误差falseProbability

       就更好了，虽然作者注释里特别提到了误差说明，但是实际上作为很多开发者对位数组长度并不敏感，无法直观知道 bits 传多少预期误差会是多少。

//NewcreateaFilter,storeisthebackedredis,keyisthekeyforthebloomfilter,//bitsishowmanybitswillbeused,mapsishowmanyhashesforeachaddition.//bestpractices://elements-meanshowmanyactualelements//whenmaps=,formula:0.7*(bits/maps),bits=*elements,theerrorrateis0.<1e-4//fordetailederrorratetable,see/zeromicro/go-zero

       欢迎使用 go-zero 并 star 支持我们！

微信交流群

       关注『微服务实践』公众号并点击 交流群 获取社区群二维码。

布隆过滤器（Bloom Filter）详解

       布隆过滤器（Bloom Filter），一种年由布隆提出的高效数据结构，用于判断元素是否在集合中。其优势在于空间效率和查询速度，但存在误判率和删除难题。布隆过滤器由长二进制数组和多个哈希函数构成，新元素映射位置置1。判断时，若所有映射位置均为1，则认为在集合；有0则判断不在。尽管可能产生误报，但通过位数组节省空间，比如MB内存可处理亿长度数组。常用MurmurHash哈希算法，如mmh3库，它的随机分布特性使其在Redis等系统中广泛使用。

       在Scrapy-Redis中，可以将布隆过滤器与redis的bitmap结合，设置位长度为2的次方，通过setbit和getbit操作实现。将自定义的bloomfilter.py文件添加到scrapy_redis源码目录，并在dupefilter.py中进行相应修改。需要注意的是，爬虫结束后可通过redis_conn.delete(key名称)释放空间。使用时，只需将scrapy_redis替换到项目中，遵循常规的Scrapy-Redis设置即可。