1.PostgreSQL · 源码分析 · 回放分析（一）
2.网络测量工具集合（ZMap、XMap、scamper、mtr、ZGrab 2.0，pyasn(IP2AS) 持续更新ing...）
3.python中.pyi文件是thread local源码什么?
4.编译原理学习ing（1）词法分析——符号和文法

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，游戏全局加速源码日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是速借通源码事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、flutter源码集成调试序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

网络测量工具集合（ZMap、XMap、scamper、mtr、ZGrab 2.0，pyasn(IP2AS) 持续更新ing...）

       网络高速扫描工具ZMap和XMap提供快速而高效的魔兽官方平台源码网络扫描能力，支持IPv6和IPv4，以及ping、traceroute等技术，适用于大规模网络分析。

       scamper是一款由CAIDA开发的工具，用于积极探测互联网，分析拓扑结构和性能。scamper支持IPv6和IPv4探测、ping、traceroute以及MDA traceroute、radargun、ally、mercator、sting、speedtrap、DNS探测等技术，是CAIDA宏观拓扑项目中的探针。开发者Matthew Luckie提供了scamper的C语言源码，用户可以自行构建和使用。

       Yarrp是一种针对互联网规模快速网络拓扑发现的下一代主动网络拓扑发现技术。它在短时间内以超过Kpps的速度进行探查，能够在不到5分钟内发现超过K个路由器接口。Yarrp支持TCP、UDP-paris和ICMP-paris探测，适用于IPv4和IPv6环境。Yarrp基于C++，在Linux和BSD系统上运行，并以BSD许可开源。

       mtr结合了traceroute和ping程序的功能，成为一个集成的网络诊断工具。它通过与指定目标主机进行连接，确定网络跳点的地址，并发送ICMP ECHO请求以评估链路质量，同时提供运行统计信息。mtr提供入门指南和官方网站，用户可以获取详细信息和源代码，了解其在估计往返时间波动（interarrival jitter）方面的优势。使用mtr进行诊断时，重要的是参考RFC文档中的相关部分，了解代码中涉及的计算方法，如在ui/net.c #line处的代码实现。

       ZGrab 2.0是一款专注于应用层协议扫描的工具，适用于快速识别和分析网络流量中的协议特征。通过安装和使用ZGrab 2.0，用户可以进行高效的应用层扫描。

       对于高速DNS查询的需求，ZDNS提供了一个命令行界面的解决方案，支持高效率的DNS查找操作。

       快速IP2AS映射是网络研究中的一项重要任务。pyasn是用于批量IP2AS映射的Python工具，支持IPv4和IPv6，通过离线查询历史路由数据（如MRT/RIB BGP archive），pyasn能够显著提高查询速度和准确性。使用pyasn进行IP到自治系统编号（ASN）的映射，可利用routeviews等历史路由数据源，以确保结果的可靠性和精确性。

python中.pyi文件是什么?

       什么是pyi文件？在哪里可以看到pyi文件？

       在Python的世界中，除了源码文件py、字节码文件pyc之外，还有类型指示文件pyi，扩展模块文件pyd和窗口文件pyw等，以后会逐一介绍。今天，先来看看pyi文件，走你！

       在Python的PEP 规范中有这样一段描述：在Python的PEP 规范中有这样一段描述：This PEP introduces a provisional module to provide these standard definitions and tools, along with some conventions for situations where annotations are not available.

       这句话说的是pyi模块是为了辅助那些定义不明确的场景的。

       众所周知，Python是一种弱类型语言，不像C语言、Java语言以及Golang语言那样，在声明的时候必须确定类型，譬如int、string等等。弱类型语言在编写简单代码的时候确实给开发者带来了极大的方便，无需思考类型即可快速声明变量，然而随着代码的复杂程度增加，因为缺乏类型检查导致代码出问题的机率大大增加。弱类型语言也需要类型检测了。

       那么问题来了，如果直接让Python在语言层面做类型检查就改变了Python弱类型语言的定位，就算Python的作者Guido van Rossum 答应，千千万万的Python开发者也不答应。于是，pyi文件出现了，pyi文件用于做类型检查，其中定义了接口参数的类型和返回值的类ing，但不能独立工作，需结合Pycharm等IDE的 TypeChecker 来工作，检查类型，这样就避免了Python语言层面的修改。

       还是直接上代码，在Pycharm中编写如下代码：

       这是一段很简单的代码，dir()函数是Python内置函数，用于获取object的属性和方法。按住CTRL+鼠标左键查看dir()函数定义，如下：

       在builtins.py中可以看到dir()函数定义，参数和返回值都没有类型，且函数最左边有一个星号，直接点击星号即可进入对应的builtins.pyi文件中

       在builtins.pyi中可以看到dir()函数的定义中，参数和返回存在具体类型，并且最左边也有一个星号，点击星号即可回到builtins.py文件中。

       至此，我们可以看到要想使用pyi文件，只需要创建一个模块的同名pyi文件，将具备类型约束的函数声明写进去即可，这样就能配合Pycharm的TypeChecker，通过IDE来达到检查类型的目的了。

编译原理学习ing（1）词法分析——符号和文法

       学习编译原理的初步阶段，我们首先接触的是词法分析。词法分析是将源代码转换为一系列符号的基础步骤，涉及的元素包括:

       字母表：符号的基础，包含了所有可能的字符，如字母、数字和特殊字符。

       字符运算：如空串（表示没有字符的序列）、连接（组合两个字符或字符串）、方幂（重复某个字符）、乘积（字符序列的重复）以及闭包（字符或子串的无限扩展）。

       文法，由三个核心部分构成：终结符集（只包含字符的集合）、非终结符集（用于构造更复杂的结构）和产生式（映射规则的集合）。文法以G(Vn, Vt, P, S)的形式表示，其中S是开始符号，代表文法能推导出的最复杂结构。

       文法的推导过程，即从一个符号序列推导出另一个，形成句型，最终得到终结符串（句子）。语言L(G)即为所有在文法G下可推导出的句子集合。文法的等价性意味着不同的文法可以描述相同的语言。

       理解文法的关键概念包括上下文无关文法（2型文法）和语法树。语法树直观地展示文法推导的过程，但存在二义性，即一个文法可能对应多个不同的树形结构。

       在句型分析中，我们需要确认一个句子是否符合给定文法，这涉及到自上而下和自下而上的分析策略。从字符逐个读取，通过正则表达式（正规式）分析生成tokens，这是编译过程中的重要环节。

       有穷自动机FA，特别是确定有限自动机DFA和非确定有限自动机NFA，通过状态转移和输入字符的映射来判断输入串是否属于某个语言。它们之间的关系是，NFA的灵活性允许接受更复杂的输入，但DFA更易于实现和转换。