皮皮网

1.Odoo框架源码研读二：ORM框架与日志
2.Thrift入门 | Thrift框架分析（源码角度）
3.Bert4keras开源框架源码解析（一）概述
4.Mirror Networking网络框架源码学习
5.腾讯插件化—Shadow源码
6.JSF源码分析（一）

Odoo框架源码研读二：ORM框架与日志

       上一期我们带来了关于Odoo框架源码第一期内容（传动门➡《Odoo框架源码研读一：前后端交互》），框架框架让大家对Odoo整体结构和前后端交互有了更深刻的源码源码了解。

       而Odoo在实际开发的分享大多数场景都是基于它的ORM框架进行的，所以本期我们将带来Odoo框架源码的什意思第二期内容——ORM和日志。

       一、框架框架ORM

       Odoo是源码源码提前必涨停源码通过Controller控制器，来控制前后台的分享交互。上一期我们详细的什意思介绍了如何让请求顺利到达Controller控制器。

       那么当请求到达Controller后，框架框架又如何来实现后端的源码源码业务逻辑呢？这就不得不提到Odoo一个非常强大的类——Environment。

       通过_loca属性，分享Environment可以直接管理线程中的什意思environments上下文状态，并且包装了ORM相关四个属性：

       而且Environment还提供了Model name和Model之间的框架框架映射，通过self.env[ModelName] 就可以直接调用Model的源码源码API ，非常强大。分享

       现在，再回头看Controller中的方法，可以看到，通过request.env[model]可以直接获取对应的Model对象，然后直接调用Model的方法。

       Odoo中一切都是基于Model编程。即使是前端的menu、action、view，都是也都有对应 Model，和业务数据无异。

       创建一个Model ，然后通过简单的视图配置，那么这个Model对应的CRUD基础功能就已经实现，这些都归功于Odoo对于Model的抽象。

       Odoo中的model分为三类：AbstractModel、Model、TransientModel；

       继承关系如下图 ⬇

       从源码中可以看出AbstractModel 是Model 和TransientModel的父类。而这个三者的区别也主要在_auto、_register、_abstract、_transient这四个属性上。

       由此可以AbstractModel是抽象类，不会在数据库创建表，Model和TransientModel 不是抽象类，会在数据库建表，但TransientModel建的是临时表，数据会被系统定期清除，这个可以在系统中设置清除频率。cf无视源码2017

       由于这种特性的不同，三个Model的用途也不相同。

       TransientModel由于存临时表的特性，多用来做wizard向导视图，存储临时缓存数据；

       Model多用于做业务的主要Model，AbstractModel多用来抽象做父类，由于不创建表的特性，有时也会用来做向导视图。

       新模块中的Model，根据功能需要去继承这三个类，由于这三个父类中丰富的API方法，新建 Model在创建完字段后，功能就已经基本完善，如果有定制化的逻辑，只需要重写父类的方法就可以了。

       Model中的Field不是Python的基础类型，而是继承Odoo封装的Field类。

       因此，在Model字段赋值的时候，和基础类型字段不同，会调用Field中的API方法，这是容易踩坑的地方。

       二、日志

       Odoo的日志是在Python的logging基础模块之上，做了定制化的封装和配置。这部份代码主要在odoo/netsvc.py文件中。

       Odoo定义了自己的Filter对象、Formatter对象、以及Handler对象。

       1）项目启动的时候，配置管理器configmanager初始化，这个时候会去初始化默认的系统配置，包括日志模块。

       2）随后，配置管理器会去加载配置文件odoo.conf中的自定义配置覆盖原先的默认配置。

       3）最后，处理完配置加载，Odoo会调用日志初始化代码，根据最终的日志配置去设定相关的logger对象。

       上图即为Odoo日志的默认配置。

       初始化过程：

       通过logging.logging.getLogger(_name_)调用前包层级的logger 对象，logging.logging.getLogger() 则返回root logger对象。

       本期关于Odoo的谷歌手写源码ORM和日志就聊到这里，下一期我们会继续聊一下Odoo的异常和流程引擎，感兴趣的小伙伴记得关注我~

Thrift入门 | Thrift框架分析（源码角度）

       深入理解Thrift框架，首先需要掌握其基本概念。Thrift是一个用于跨语言通信的框架，其设计初衷是提高开发效率和简化多语言环境下的服务调用。以下是Thrift框架的核心组成部分及其功能概述。

       Thrift框架主要包括两个层：Protocol层和Transport层。Protocol层主要负责数据的序列化和反序列化，而Transport层则负责数据流的传输。Protocol层中包含多种序列化协议，常见的有Compact、Binary、JSON等，它们都继承自TProtocol基类，提供读写抽象操作。

       以TBinaryProtocol为例，它是一种基于二进制的序列化协议。序列化过程主要包括以下几个关键步骤：

       writeMessageBegin：用于序列化message的开始部分，包括thrift版本、message名称和seqid等信息。

       writeFieldStop：在所有字段序列化完成后，写入T_STOP标识符，表示序列化结束。

       writeI、writeString、writeBinary：分别用于序列化整型、字符串和二进制数据。

       在读取操作中，这些write操作的逆操作被执行，以实现反序列化。Protocol层的实现细节主要体现在读写函数的调用和抽象上。

       Transport层负责数据的实际传输，它提供了一系列抽象方法，如isOpen、open、close、read和write等，用于管理底层连接的打开、关闭和数据读写。常见的Transport层协议包括TFramedTransport和TSocket。TFramedTransport通过缓冲区管理，实现了数据的分帧传输，而TSocket则基于原始的论坛自动签到源码socket实现网络通信。

       为了进一步提高性能，Transport层可能包含缓存和压缩等功能，以优化数据传输效率。Thrift中，TSocket作为底层传输层，负责与原始socket交互，而TFramedTransport等上层Transport则在TSocket的基础上进行扩展，实现数据的高效传输。

       总结，Thrift框架通过其Protocol层和Transport层，实现了跨语言、高效的数据传输。深入理解这些组件及其工作原理，对于开发和优化基于Thrift的分布式系统具有重要意义。

Bert4keras开源框架源码解析（一）概述

       Bert4keras是苏剑林大佬开源的一个文本预训练框架，相较于谷歌开源的bert源码，它更为简洁，对理解BERT以及相关预训练技术提供了很大的帮助。

       源码地址如下：

       代码主要分为三个部分，分别在三个文件夹中。

       在bert4keras文件夹中，实现了BERT以及相关预训练技术的算法模型架构。examples文件夹则是基于预训练好的语言模型进行的一系列fine-tune实验任务。pretraining文件夹则负责从头预训练语言模型的实现。

       整体代码结构清晰，主要分为以下几部分：

       backend.py文件主要实现了一些自定义组件，例如各种激活函数。这个部分之所以命名为backend（后端），是因为keras框架基于模块化的高级深度学习开发框架，它并不仅仅依赖于一种底层张量库，而是对各种底层张量库进行高层模块封装，让底层库负责诸如张量积、卷积等操作。例如，底层库可能选择TensorFlow或Theano。

       在layers.py文件中，实现了自定义层，如embedding层、多头自注意力层等。

       optimizers.py文件则实现了优化器的定义。

       snippets.py文件包含了与算法模型无关的辅助函数，例如字符串格式转换、文件读取等。arraylist与linklist源码

       tokenizers.py文件负责分词器的实现。

       而model.py文件则是框架的核心，实现了BERT及相关预训练模型的算法架构。

       后续文章将详细解析这些代码文件，期待与大家共同进步。

Mirror Networking网络框架源码学习

       在游戏开发领域，特别是多人在线游戏的制作，网络框架的选择与理解至关重要。本文将带领大家了解并学习Mirror网络框架，这是UNET的替代品，帮助开发者更好地掌握Unity项目内容。Mirror提供了强大的网络功能，使得客户端和服务端逻辑集成在同一个系统中。

       对于Mirror框架，CMD（Command）和RPC（Remote Procedure Call）是核心功能。CMD允许开发者在客户端和服务端之间传递命令，而RPC则允许远程调用服务端方法，实现异步通信。这些标签用于区分客户端与服务端的代码逻辑。

       例如在Examples/Chat中，通过设置一个端作为服务器，其他端连接到localhost作为客户端，可以实现基本的聊天功能。值得注意的是，这个案例中的数据同步机制，尤其是SyncVar的作用，对于理解如何在客户端和服务端之间共享和同步数据至关重要。

       SyncVar通过编译后处理和Update驱动同步实现数据的实时同步。在编译后处理阶段，通过SerializeSyncVars初始化所有SyncVar，并在逐帧更新中驱动同步过程，确保数据在客户端和服务端保持一致。

       在服务器监听部分，以KcpTransport为例，分为初始化绑定、接收更新数据和业务处理。这一流程展示了如何在服务器端接收和处理网络数据，确保游戏逻辑的正确执行。

       为了进一步深入学习，推荐查阅以下资源：

       - Unity3D-network网络相关（一）_alayeshi的专栏-CSDN博客

       - Unity3D-network网络相关（二）_alayeshi的专栏-CSDN博客

       - 交大计算机课程（5）：计算机网络

       - GitHub - vis2k/Mirror: #1 Open Source Unity Networking Library

       - Mirror Documentation

       - Unity 使用Mirror框架制作多人游戏

       - MirrorNetworking

       通过这些资源，开发者可以全面了解Mirror网络框架的使用方法，从而在多人游戏开发中获得更多的灵活性和控制力。

腾讯插件化—Shadow源码

       腾讯插件化框架Shadow介绍及源码解析

       Shadow是一个由腾讯自主研发的Android插件框架，经过线上亿级用户量的检验，其在插件技术领域展现出不俗的实力。Shadow不仅开源分享了关键代码，还全面分享了上线部署所需的设计方案。

       与市面上其他插件框架相比，Shadow在技术特点上主要体现在：

       支持特性编译与开发环境准备：建议使用最新稳定版本的Android Studio，推荐打开工程并选择sample-app或sample-host模块直接运行，体验不同安装情况下的运行效果。

       代码结构清晰：所有代码集中在projects目录下的三个子目录中，sample目录为体验Shadow的最佳环境，详细信息可参考README文档。

       插件加载与启动流程解析

       插件加载是Shadow框架的核心，从loadPlugin作为起点，通过一系列步骤实现插件的动态加载与启动。包括但不限于：

       本地启动顺序：重点关注启动流程的第一、二步，回溯整个过程最终调用Plugin Manager的DynamicPluginManager.enter方法。

       跨进程调用与Activity加载：调用mDynamicPluginLoader.callApplicationOnCreate方法执行插件加载，之后通过FastPluginManager.convertActivityIntent方法启动Activity。

       Activity与Service加载机制

       在Activity与Service加载机制上，Shadow采用与Android系统自身一致的实现方式：通过修改ClassLoader的parent属性，插入DexClassLoader实现插件apk的加载与Activity的实例化。具体步骤包括：new一个DexClassLoader加载插件apk，从插件ClassLoader中load指定的插件Activity名字，newInstance之后强转为Activity类型使用。

       Shell Activity复用与资源管理

       为了解决资源复用与访问问题，Shadow通过代理Activity的方式，通过Intent的参数确定构造哪个Activity，令壳子Activity能够复用，实现资源的隔离管理。此外，对同名View与资源的处理也非常关键，通过自定义类加载器与AOP技术，解决此类问题。

       组件调用与优化

       对于Service、Content Provider与Broadcast Receiver的调用，Shadow提供了优化方案，如通过ShadowContext启动Service、使用ShadowAcpplication注册静态广播等。

       总结与学习建议

       本文详细解析了插件化框架Shadow的源码与实现机制，深入探讨了其解决插件加载、Activity启动、资源管理等问题的策略。对于深入理解Android插件化技术，实现高效、稳定的插件化解决方案具有重要参考价值。建议对Android核心技术感兴趣的开发者深入阅读《Android核心技术手册》，了解更多关于插件化、热修复等技术的详细内容。

JSF源码分析（一）

       在深入分析 JSF 框架的源码时，我们首先关注的是核心的功能模块，以帮助我们理解其工作原理。通常，我们从常见的项目 XML 配置文件入手，这些文件包含了 JSF 框架的基本设置。让我们以地址服务的 jsf-provider.xml 文件为例，进行详细的解析。

       在 JSF 的配置文件中，虽然没有直接显示注册中心的内容，但作为自研的高性能 RPC 调用框架，高可用的注册中心是其核心功能之一。因此，我们接下来将探索如何在没有提供注册中心地址的情况下，这些标签是如何完成服务的注册和订阅的。

       ### 配置解析

       首先，我们发现配置文件中自定义的 xsd 文件，通过 NamespaceUri 链接到 jsf.jd.com/schema/jsf/j...。随后，基于 SPI（Service Provider Interface）机制，我们在 META-INF 中找到了定义好的 Spring.handlers 文件和 Spring.schemas 文件，这两个文件分别用于配置解析器和 xsd 文件的具体路径。

       进一步地，我们查询了继承自 NamespaceHandlerSupport 或实现 NamespaceHandler 接口的类。在 JSF 框架中，JSFNamespaceHandler 通过继承 NamespaceHandlerSupport 实现了对自定义命名空间的解析功能。NamespaceHandler 的主要作用是解析我们自定义的 JSF 命名空间，通过 BeanDefinitionParser 对特定标签进行处理，完成对 XML 中配置信息的具体处理。

       ### 服务暴露

       最终，通过 JSFBeanDefinitionParser 实现了 org.springframework.beans.factory.xml.BeanDefinitionParser，完成 XML 配置的解析。解析的结果会注册到 BeanDefinitionRegistry 对象中，进而触发 Bean 的初始化过程。最终，ProviderBean 实例监听上下文事件，在容器初始化完毕后，调用 export() 方法进行服务的暴露。

       ### 服务注册与暴露

       服务暴露的实现逻辑集中在 ProviderConfig#doExport 方法中。首先，方法会对配置进行基本校验和拦截。随后，获取所有 RegistryConfig，如果获取不到注册中心地址，将使用默认的注册中心地址：“i.jsf.jd.com”。接着，根据 Provider 配置中的 server 相关信息启动 server，并使用默认序列化方式（如 msgpack）进行服务编码。然后，通过 ServerFactory 初始化并启动 Server，调用 ServerTransportFactory 生成对应的传输层，实现与注册中心的通信。最后，服务注册通过 JSFRegistry 类完成，该类连接注册中心，如果没有可用的中心，则使用本地文件并开启守护线程，使用两个线程池进行心跳检测、重试机制和连接状态监控。至此，服务从配置装配到服务暴露的过程完成。

       ### 消费者配置与初始化

       对于消费者端（jsf-consumer.xml），注册中心地址（如“i.jsf.jd.com”）被配置在其中，而 Provider 的配置则在 jsf-provider.xml 中。配置解析过程与 Provider 类似，最终解析为 ConsumerConfig 和 RegistryConfig。通过 ConsumerBean 类实现 FactoryBean 接口，以便通过 getObject() 方法获取代理对象，完成客户端的初始化。在这个过程中，消费者会根据配置订阅相关的 Provider 服务。核心代码在 ConsumerConfig#refer 方法中，该方法通过调用子类的 subscribe() 方法开始订阅过程，连接 Provider 服务。

       ### 框架流程概述

       综上所述，JSF 框架通过 Provider、Consumer 和注册中心（Registry）之间的协同工作，实现了高效的服务注册、订阅和通信。具体流程包括：

       1. **Provider 端**：启动服务向注册中心注册，并根据配置初始化相关组件。

       2. **Consumer 端**：首次获取实体信息时，通过 FactoryBean 接口获取代理对象，完成初始化并订阅 Provider 服务。

       3. **注册中心**：提供异步通知机制，监控服务状态变化。

       4. **服务调用**：直接调用服务方法。

       5. **监控与治理**：框架内置监控机制，支持服务治理和降级容灾策略。

       了解这一过程对于深入理解 JSF 框架的内部机制至关重要，也为后续的模块分析和系统优化提供了基础。

Springboot之分布式事务框架Seata实现原理源码分析

       在SpringBoot环境下的分布式事务框架Seata实现原理涉及到了代理数据源、注册代理Bean以及全局事务拦截器等关键环节。下面我们将逐步解析其核心逻辑。

       首先，Seata通过GlobalTransactionScanner来注册项目中所有带有@GlobalTransactional注解的方法类。该扫描器是一个实现了BeanPostProcessor接口的类，它能够在Spring容器初始化时进行后置处理，从而实现全局事务的管理。

       GlobalTransactionScanner实际上是一个InstantiationAwareBeanPostProcessor，它在实例化Bean前执行postProcessBeforeInstantiation方法，在实例化后执行postProcessAfterInstantiation方法，并在属性填充时执行postProcessProperties方法。尽管GlobalTransactionScanner类本身并未覆盖这3个方法，但在父类的实现中，这些方法用于处理Bean的实例化和属性设置过程。

       关键在于postProcessAfterInitialization方法中实现的wrapIfNecessary方法，该方法在GlobalTransactionScanner类中被重写。当方法执行到existsAnnotation方法判断类方法是否带有@GlobalTransactional注解时，如果存在则创建一个GlobalTransactionalInterceptor作为拦截器处理全局事务。

       在创建代理数据源时，Seata通过DataSourceProxy对系统默认数据源进行代理处理。通过shouldSkip方法判断当前bean是否需要被代理，如果bean是SeataProxy的子类且不是DataSource的子类且不在excludes集合中，则进行代理，从而代理当前系统的默认数据源对象。

       全局事务拦截器主要负责全局事务的发起、执行和回滚。在执行全局事务的方法被代理时，具体的执行拦截器是GlobalTransactionalInterceptor。该拦截器处理全局事务的逻辑，包括获取全局事务、开始全局事务、执行本地业务、提交本地事务、记录undo log、提交数据更新等步骤。其中，提交本地事务时会向TC（Transaction Coordinator）注册分支并提交本地事务，整个过程确保了分布式事务的一致性。

       当全局事务中任何一个分支发生异常时，事务将被回滚。参与全局事务的组件在异常发生时执行特定的回滚逻辑，确保事务一致性。在Seata的实现中，异常处理机制确保了事务的回滚能够正确执行。

       Seata还提供了XID（Transaction Identifier）的传递机制，通过RestTemplate和Feign客户端进行服务间的调用，确保分布式系统中各个服务能够共享和处理全局事务。RestTemplate在请求头中放置TX_XID头信息，而Feign客户端通过从调用链中获取Feign.Builder，最终通过SeataHystrixFeignBuilder.builder方法实现XID的传递。

       在被调用端（通过Feign调用服务），Seata自动配置会创建数据源代理，使得事务方法执行时能够获取到连接对象，而这些连接对象已经被代理成DataSourceProxy。SeataHandlerInterceptor拦截器对所有请求进行拦截，从Header中获取TX_XID，参与者的XID绑定到上下文中，通过ConnectionProxy获取代理连接对象。在数据库操作中，XID绑定到ConnectionContext，执行SQL语句时通过StatementProxy或PreparedStatementProxy代理连接，从而完成全局事务的处理。

       综上所述，Seata通过一系列复杂的逻辑和机制，实现了SpringBoot环境下的分布式事务管理，确保了分布式系统中数据的一致性和可靠性。