FREE SOLO - 自己动手实现Raft - 15 - leveldb源码分析与调试-1

       leveldb 是由 Google 基础架构工程师 Jeff Dean 所设计的，是一种高效、可靠的键值对存储系统。它基于LSM（Log-Structured Merge）存储引擎，代码简洁精炼，非常适合深入学习与理解。vb反编译 源码leveldb 不仅可以作为一个简单的键值对引擎使用，而且内部组件如LRU Cache也具有独立的实用性，还能在此基础上封装出其他操作接口，例如vraft中的raftlog和metadata等。

       通过理解leveldb，能够对后续学习如rocksdb等更高级的数据库引擎提供坚实基础。本文旨在从状态机的角度解析leveldb，帮助读者深入理解其内部工作原理。

       在leveldb中，关键状态包括但不限于内存、磁盘状态以及LRU Cache状态。内存数据与磁盘数据的交互是leveldb的核心，用户的键值对数据通过日志写入到memtable，然后通过immutable memtable最终到达磁盘上的sorted table文件，这些文件按照级别（level）从0到6逐级存储。通过在关键时刻添加ToJson函数，可以记录这些状态的变化，便于分析。

       LRU Cache在leveldb中的实现同样值得深入研究。它作为一种缓存机制，慧语简报源码有助于优化数据访问效率。通过在LRU Cache中添加ToJson函数并打印状态，可以直观地观察其内部结构和状态的动态变化。

       为了更好地理解leveldb，本文将重点分析关键数据结构，并通过观察不同动作导致的状态变化，来深入探究leveldb的内部机制。在后续文章中，将详细展示leveldb内部状态的转换过程，以帮助读者掌握其核心工作原理。

FREE SOLO - 自己动手实现Raft - - leveldb源码分析与调试-2

       本文聚焦于leveldb的写入机制，包括log的写入与memtable的写入过程。在深入分析之前，让我们回顾leveldb的核心数据结构，这将为后续的探讨提供直观的参考。

       数据写入流程主要包括两个阶段：首先，将数据写入log，紧接着将数据写入memtable以供查询。

       在log的写入过程中，数据经由一系列封装，最终通过调用log::Writer::AddRecord实现写入。在这一过程中，数据通过DBImpl::Put和DB::Put进行封装，最终由DBImpl::Write调用实现。

       对于memtable的励销crm源码写入，数据同样经历DBImpl::Put和DB::Put的封装，随后由DBImpl::Write和MemTableInserter::Put进行处理，最后调用MemTable::Add完成写入。这一系列操作确保了数据的高效存储与检索。

       数据读取方面，主要依赖于DBImpl::Get调用，通过MemTable::Get和SkipList::FindGreaterOrEqual操作在SkipList中进行搜索，实现从memtable中读取数据。同时，数据也可从sorted table中获取。

       总结整个流程，本文主要梳理了数据写入与读取的调用栈，以及memtable与log在leveldb中的角色。下一次，我们将深入探讨大量数据写入后，内存与磁盘中数据状态的变化，以进一步理解leveldb的高效与可靠。

       期待下次的分享，敬请关注！

深入源码解析LevelDB

       深入源码解析LevelDB

       LevelDB总体架构中，sstable文件的生成过程遵循一系列精心设计的步骤。首先，遍历immutable memtable中的key-value对，这些对被写入data_block，每当data_block达到特定大小，HTML源码不显示构造一个额外的key-value对并写入index_block。在这里，key为data_block的最大key，value为该data_block在sstable中的偏移量和大小。同时，构造filter_block，默认使用bloom filter，用于判断查找的key是否存在于data_block中，显著提升读取性能。meta_index_block随后生成，存储所有filter_block在sstable中的偏移和大小，此策略允许在将来支持生成多个filter_block，进一步提升读取性能。meta_index_block和index_block的偏移和大小保存在sstable的脚注footer中。

       sstable中的block结构遵循一致的模式，包括data_block、index_block和meta_index_block。为提高空间效率，数据按照key的字典顺序存储，采用前缀压缩方法处理。查找某一key时，必须从第一个key开始遍历才能恢复，因此每间隔一定数量（block_restart_interval）的key-value，全量存储一个key，并设置一个restart point。虚幻引擎lightmass源码每个block被划分为多个相邻的key-value组成的集合，进行前缀压缩，并在数据区后存储起始位置的偏移。每一个restart都指向一个前缀压缩集合的起始点的偏移位置。最后一个位存储restart数组的大小，表示该block中包含多少个前缀压缩集合。

       filter_block在写入data_block时同步存储，当一个new data_block完成，根据data_block偏移生成一份bit位图存入filter_block，并清空key集合，重新开始存储下一份key集合。

       写入流程涉及日志记录，包括db的sequence number、本次记录中的操作个数及操作的key-value键值对。WriteBatch的batch_data包含多个键值对，leveldb支持延迟写和停止写策略，导致写队列可能堆积多个WriteBatch。为了优化性能，写入时会合并多个WriteBatch的batch_data。日志文件只记录写入memtable中的key-value，每次申请新memtable时也生成新日志文件。

       在写入日志时，对日志文件进行划分为多个K的文件块，每次读写以这样的每K为单位。每次写入的日志记录可能占用1个或多个文件块，因此日志记录块分为Full、First、Middle、Last四种类型，读取时需要拼接。

       读取流程从sstable的层级结构开始，0层文件特别，可能存在key重合，因此需要遍历与查找key有重叠的所有文件，文件编号大的优先查找，因为存储最新数据。非0层文件，一层中的文件之间key不重合，利用版本信息中的元数据进行二分搜索快速定位，仅需查找一个sstable文件。

       LevelDB的sstable文件生成与合并管理版本，通过读取log文件恢复memtable，仅读取文件编号大于等于min_log的日志文件，然后从日志文件中读取key-value键值对。

       LevelDB的LruCache机制分为table cache和block cache，底层实现为个shard的LruCache。table cache缓存sstable的索引数据，类似于文件系统对inode的缓存；block cache缓存block数据，类似于Linux中的page cache。table cache默认大小为，实际缓存的是个sstable文件的索引信息。block cache默认缓存8M字节的block数据。LruCache底层实现包含两个双向链表和一个哈希表，用于管理缓存数据。

       深入了解LevelDB的源码解析，有助于优化数据库性能和理解其高效数据存储机制。

leveldb之数据存储结构

       leveldb中的数据存储结构设计巧妙，尽管在源码中编码和反编码较为复杂，但理解时可以将其当作黑盒子。本文主要讨论几个关键组件：Slice、Varint/、InternalKey、Comparator、SSTable、DataBlock、IndexBlock、FilterBlock、MetaIndexBlock以及Log和WriteBatch。

       Slice是一个轻量级的数据结构，类似Go语言的切片，用于方便传递和引用数据子串，尤其在处理C++标准库中的std::string时，Slice更轻便，不需复制子串。

       Varint/是变长编码，用于节省存储空间，如位整型，通过MSB和后续7位表示数据，最长可编码到5字节。这种编码方式使得数字存储更加紧凑。

       InternalKey是存储用户数据的关键，由user_key、sequence和type组成，sequence用于版本控制和数据合并，type区分值类型和删除标记。删除时，leveldb通过日志追加而非直接修改，确保数据一致性。

       Comparator接口用于自定义key的比较逻辑，而InternalKeyComparator结合user_comparator，通过用户键和序列进行排序，保证新数据在旧数据的前面。

       SSTable由DataBlock、MetaIndexBlock和IndexBlock组成，DataBlock采用前缀压缩和重启点设计，提高了空间效率。IndexBlock则用于记录DataBlock的映射，采用跳点策略来压缩key。

       FilterBlock在构建Block的同时生成BloomFilter，用于快速过滤查找。MetaIndexBlock存储元信息到MetaBlock的映射。

       Footer用于文件校验和解析，包含索引和元数据信息。MemTable使用skiplist结构，支持高效查找，通过墓碑标记删除，保持数据一致性。

       Log负责持久化数据，避免内存丢失。WriteBatch用于批量操作，保证原子性，并进行序列化，便于数据恢复。

FREE SOLO - 自己动手实现Raft - - leveldb源码分析与调试-3

       leveldb的数据流动路径是单向的，从内存中的memtable流向不可变的memtable，最终写入到磁盘上的sorted table文件中。以下是几个关键状态的分析，来了解内存和磁盘上数据的分布。

       以下是分析所涉及的状态：

       1. 数据全在内存中

       随机写入条数据，观察到数据全部存储在memtable中，此时还没有进行compaction操作。

       2. 数据全在磁盘中

       写入大量数据，并等待数据完全落盘后重启leveldb。此时，数据全部存储在磁盘中，分布在不同的level中。在每个level的sstable文件中，可以看到key的最大值与最小值。

       3. 数据部分在内存中，部分在磁盘中

       随机写入条数据，发现内存中的memtable已满，触发compaction操作，数据开始写入到sstable文件。同时，继续写入的数据由于还未达到memtable上限，仍然保存在内存中。

       4. 总结

       通过观察不同数据写入量导致的数据在内存与磁盘间的流动，我们可以看到leveldb内部状态的转换。

       下篇文章将分析LRUCache数据状态的变化。敬请期待！