1.走近源码：神奇的HyperLogLog
2.鹅厂微创新Golang缓存组件TCache介绍

走近源码：神奇的HyperLogLog

       深入理解HyperLogLog的魅力，Redis中的高效基数统计工具。只需掌握基本命令，便可运用，但若要探究其原理和源码实现，本文将引导你探索更多。mac源码维护基数，这个数学概念，用于比较集合大小，如整数集和有理数集的基数相同，但统计大数据集基数时，传统的Set结构和bitmap方法都有局限。Set占用大量内存，bitmap虽节省空间，但统计个对象仍需G，php源码 企业HyperLogLog的出现解决了这个问题。

       HyperLogLog的原理基于概率算法，通过hash值的第一个1的位置，而非每个元素值，来估算基数。想象一下Jack和丫丫的硬币游戏，HyperLogLog就像Jack的思维工具，通过计算概率来估算最长回合次数。Redis的HyperLogLog利用桶的概念，通过位定位桶，位的伯努利过程，精确地存储信息，仅用K内存实现密集存储或更节省的稀疏结构。

       源码解析中，竞拍 源码PFADD命令负责添加元素，而PFCOUNT用于合并多个对象并计算基数。通过理解头结构体和创建过程，我们可以看到Redis是如何高效利用内存的。最后，推荐使用content.research.neustar.biz...工具来辅助理解HyperLogLog的运作，同时，深入阅读相关文献如Redis新数据结构、HyperLogLog算法实现和Redis深度实践将深化你的理解。

鹅厂微创新Golang缓存组件TCache介绍

       一个 Golang 自研小组件，TCache 介绍

       作者：frank、maxy、lark 等。

       TCache 是青云志 源码一个 Golang 团队自研的缓存组件，旨在优化视频会员场景下高并发请求的压力，减少底层存储压力，提升系统可用性。设计时，我们考虑了开源组件如布隆过滤器、位图、localcache 的特点和优劣，以业务需求为出发点，集成这些组件形成整体解决方案。

       TCache 设计目标

       主要目标是为视频会员服务提供高效缓存，应对大量 APP 请求，减轻存储层压力，并增强系统稳定性。经过调研，pc蛋蛋 源码我们发现现有开源组件适合不同场景，因此决定整合这些组件，通过配置化设计，让业务根据自身需求选择合适的缓存策略。

       整体架构

       TCache 分为四层架构：业务场景层、中间件层、组件层与算法层。业务场景层直接与应用交互，中间件层集成了多种缓存算法，组件层基于开源组件实现，算法层则深入研究缓存技术原理。

       组件结构

       TCache 集成了多种缓存组件，包括 KV 型结构 Cache、BitMap、BloomFilter 与大型计数器 Hyperloglog。此外，我们计划集成更多组件以覆盖更多业务场景。

       Cache 组件设计

       提供了统一的 cache 接口，支持用户自定义底层缓存实现，包括默认实现与本地缓存组件 localcache 的接口定义。

       BitMap 组件设计

       BitMap 组件集成经典 BitMap 与 Roaring 位图算法，提供单一操作 API，便于业务集成使用。组件结构清晰，代码接口明确。

       开发过程

       TCache 的开发过程始于团队转型 Golang 时的技术积累与开源组件分析，通过源码阅读、论文研读，深入了解组件技术，最终形成组件化设计。团队持续研究缓存替换算法、位图算法，通过实验对比分析，提炼出业务适用的缓存策略。

       功能分析

       本地缓存强调数据一致性与吞吐量，支持多线程访问与内存限制，适用于缓存热点数据。常见组件如 freecache、fastcache、bigcache 等，提供线程安全、高命中率与高效管理的特性。

       源码分析

       深入研究开源组件，如 BigCache、BloomFilter、RoaringBitmap，通过建模与代码分析，了解组件实现原理与优化策略。

       算法研究

       研究缓存替换算法，包括 Belady 最优策略、随机策略、先进先出、最近不使用、最不经常使用、重引用间隔预测等。通过实验对比分析，提炼出适用于不同场景的缓存策略。

       实验研究

       通过功能与性能对比研究，推荐不同缓存组件在特定场景下的应用，如 freecache、bigcache、fastcache、localcache 等，以及针对数据持久化与热启动的组件。

       组件化

       整合多种组件形成 TCache，通过组件化设计，让业务灵活选择缓存策略，提高系统性能与稳定性。

       总结

       TCache 的开发是一个无心插柳的成果，整合了团队的技术积累与业务需求。通过研究、实验与优化，我们找到了适合视频会员服务的缓存解决方案。未来，结合 AIGC 等新技术，开发出更多原创组件，有可能推动开发行业的变革。