皮皮网

1.PyTorch 源码分析(一）：torch.nn.Module
2.六星源课堂：Python如何运行程序？Python怎么用？
3.深入理解 Python 虚拟机：列表（list）的源码实现原理及源码剖析
4.Python数据分析系列读取Excel文件中的多个sheet表（案例+源码）
5.python的运行原理是什么？
6.Python modbus_tk 库源码分析

PyTorch 源码分析(一）：torch.nn.Module

       nn.Module是PyTorch中最核心和基础的结构，它是分析操作符/损失函数的基类，同时也是源码组成各种网络结构的基类（实际上是由多个module组合而成的一个module）。

       在Python侧，分析2.1回调函数注册，源码2.2 module类定义中，分析视频聊天源码下载有以下几个重点函数：

       重点函数一：将模型的源码参数移动到CUDA上，内部会遍历其子module。分析

       重点函数二：将模型的源码参数移动到CPU上，内部会遍历其子module。分析

       重点函数三：将模型的源码参数转化为fp或者fp等，内部会遍历其子module。分析

       重点函数四：forward函数调用。源码

       重点函数五：返回该net的分析所有layer。

       在类图中，源码PyTorch的算子都是module的子类，包括自定义算子和整网定义。

       在C++侧，3.1 module.to("cuda")详细分析中，本质是将module的parameter&buffer等tensor移动到CUDA上，最终调用的是tensor.to(cuda)。

       3.2 module.load/save逻辑中，PyTorch模型保存分为两种，一种是纯参数，一种是带模型结构（PyTorch中的模型结构，本质上是由module、sub-module构造的一个计算图）。

       parameter、buffer是袋鼠源码通过key-value的形式来存储和检索的，key为module的.name，value为存储具体数据的tensor。

       InputArchive/OutputArchive的write和read逻辑。

       通过Module，PyTorch将op/loss/opt等串联起来，类似于一个计算图。基于PyTorch构建的ResNet等模型，是逐个算子进行计算的，tensor在CPU和GPU之间来回流动，而不是整个计算都在GPU上完成（即中间计算结果不出GPU）。实际上，在进行推理时，可以构建一个计算图，让整个计算图的计算都在GPU上完成，不知道是否可行（如果GPU上有一个CPU就可以完成这个操作，不知道tensorrt是否是这样的操作）。

六星源课堂：Python如何运行程序？Python怎么用？

       Python如何运行程序？Python怎么用？今天六星源课堂和大家聊聊！

       对于普通用户和专业人士来说，Python的运行方式存在差异。普通用户可以通过网络教程学习如何安装和运行Python。

       专业人士则深入探讨Python运行机制。Python的默认实现CPython，是由C语言编写的解释器。运行过程分为源码分析、字节码生成和执行。

       源码分析阶段，解释器接收源代码并进行词法分析，将代码文件分解为标记列表。命令源码接着生成字节码，即机器语言。字节码文件以".pyc"扩展名保存。

       解释器初始化Python虚拟机（PVM），加载字节码并转换为可执行代码（如0和1的二进制），最终输出结果。若PVM过程中出现错误，解释器将立即终止并显示错误。

       以上内容涵盖了Python运行程序的基础和深入知识。想了解更多编程技巧，欢迎关注六星源课堂。

深入理解 Python 虚拟机：列表（list）的实现原理及源码剖析

       深入剖析 Python 虚拟机中列表（list）的内部机制和源码实现

       Python 中列表作为常用的数据结构，支持多种操作。本文将详细揭示 CPython 虚拟机中列表的构造原理，以及关键函数的源码解析。

       列表结构

       在 CPython 中，PyListObject 的结构如下，包含内存管理、长度以及实际存储数据的数组等字段。

       列表操作函数源码分析

       创建列表：通过预先分配内存空间，下次创建新列表时复用旧空间，提高效率。

       append 函数：涉及数组扩容，当列表满时，自动扩展容量。

       insert 函数：简单实现，通过移动元素实现插入。

       remove 函数：删除元素时，skapp源码调整后续元素位置。

       统计与拷贝

       -

       count 函数统计元素数量，浅拷贝函数 copy 只复制引用，深拷贝需借助 copy 模块的 deepcopy。

       清空与反转

       -

       clear 函数释放列表资源，reverse 函数通过交换数组元素指针实现列表反转。

       总结

       理解列表的实现细节有助于优化 Python 代码，提升程序效率。深入探索这些内部机制，可以更好地编写和维护 Python 代码。

Python数据分析系列读取Excel文件中的多个sheet表（案例+源码）

       在Python中使用pandas库，读取Excel文件中的多个sheet表变得极其便捷。假设有一个名为“光谱响应函数.xlsx”的Excel文件，其中包含多个sheet表。

       Excel文件，如同数据库，存储着一张或多张数据表。本文将展示如何依次读取Excel文件中的每一个sheet表。

       首先，定义excel文件路径，通过pd.ExcelFile()创建一个Excel文件对象xls。利用该对象的sheet_names方法获取所有sheet表名称。然后，借助pd.read_excel函数，逐一读取每一个sheet表，并进行后续的统一处理。

       以sheet_name为“ch”的读取结果为例，展示读取后的反向源码数据内容。

       作者拥有丰富的科研经历，期间在学术期刊发表六篇SCI论文，专注于数据算法研究。目前在某研究院从事数据算法相关工作，致力于分享Python、数据分析、特征工程、机器学习、深度学习、人工智能等基础知识与实际案例。撰写内容时坚持原创，以简洁的方式解释复杂概念，欢迎关注公众号“数据杂坛”，获取更多数据和源码学习资源。

       欲了解更多详情，请参考原文链接。

python的运行原理是什么？

       Python的运行原理主要包括以下几个步骤：

       1. 词法分析：将源代码分解成若干个词法单元（token），如关键字、标识符、运算符等。

       2. 语法分析：将词法单元按照语法规则组合成语法树（parse tree）。

       3. 语义分析：检查语法树是否符合语义规则，如变量是否被声明等。

       4. 中间代码生成：将语法树转化为中间代码（bytecode）。

       5. 解释执行或编译执行：解释执行是指逐行解释执行中间代码，编译执行是指将中间代码编译成机器码后执行。Python的解释器是一种解释执行方式，但也支持将中间代码编译成机器码后执行的方式。

       6. 垃圾回收：Python中采用自动垃圾回收机制，当一个对象不再被引用时，垃圾回收器会自动回收其占用的内存空间。

       总的来说，Python的运行原理是将源代码经过词法分析、语法分析、语义分析、中间代码生成等步骤转化为可执行的中间代码，然后通过解释执行或编译执行方式运行程序。

Python modbus_tk 库源码分析

       modbus_tcp 协议是工业项目中常用的设备数据交互协议，基于 TCP/IP 协议。协议涉及两个角色：client 和 server，或更准确地称为 master 和 slave。modbus_tk 库作为 Python 中著名且强大的 modbus 协议封装模块，其源码值得深入分析，尤其是在关注并发量等方面的需求时。深入研究 modbus_tk 库的源代码和实现逻辑，对在库的基础上进行更进一步的开发尤其重要。因此，本文旨在提供对 modbus_tk 库源码的深入解析，以供参考。

       实例化 TcpMaster 对象时，首先导入 TcpMaster 类，该类继承自 Master，但在实例化时并未执行任何操作。Master 的 `__init__()` 方法同样没有执行任何具体任务，这使得 TCP 链接在创建 TcpMaster 实例时并未立即建立。TCP 链接的建立在 `open()` 方法中实现，该方法由 TcpMaster 类执行。在 `open()` 方法中，自定义了超时时间，进一步保证了 TCP 连接的建立。

       在 TcpMaster 类的 `execute()` 方法中，核心逻辑在于建立 TCP 协议的解包和组包。在读写线圈或寄存器等操作时，都会调用 `execute()` 方法。详细分析了 `execute()` 方法的具体实现，包括通过注释掉的组包等过程代码，以及 `TcpMaster._make_query()` 方法的实现。`_make_query()` 方法封装了请求构建过程，包括生成事务号、构建请求包和发送请求。

       在请求构建完成后，`_send()` 方法负责通过 `select` 模块进行连接状态检测，确保发送数据前连接无异常。通过分析 `execute()` 方法的后续逻辑，我们能够看到一个完整的组包、发送数据及响应解析的源码流程。响应解析涉及 `TcpMaster.execute()` 方法中对 MBAP 和 PDU 的分离、解包及数据校验。

       在解析响应信息时，`TcpQuery().parse_response()` 方法解包并验证 MBAP 和 PDU，确保数据一致性。通过此过程，获取了整个数据体，完成了响应信息的解析。在 `execute()` 方法的后续部分，没有执行新的 I/O 操作，进一步简化了流程。

       为了保障线程安全，`threadsafe` 装饰器被添加在 `Master.execute()` 方法及 `TcpQuery._get_transaction_id()` 方法上。这一装饰器确保了跨线程间的同步，但可能引起资源竞争问题。在实际应用中，为了避免同一设备不能同时读写的情况，可以显式传递 `threadsafe=False` 关键字参数，并实现自定义锁机制。

       modbus_tk 模块提供了丰富的钩子函数，如 `call_hooks`，在数据传递生命周期中自动运行，实现特定功能的扩展。常见的钩子函数包括初始化、结束、请求处理等，这些功能的实现可以根据具体需求进行定制化。

ONNX一本通：综述&使用&源码分析（持续更新）

       ONNX详解：功能概述、Python API应用与源码解析

       ONNX的核心功能集中在模型定义、算子操作、序列化与反序列化，以及模型验证上。它主要通过onnx-runtime实现运行时支持，包括图优化和平台特定的算子库。模型转换工具如tf、pytorch和mindspore的FMK工具包负责各自框架模型至ONNX的转换。

       ONNX Python API实战

       场景一：构建线性回归模型，基础操作演示了API的使用。

       场景二至四：包括为op添加常量参数、属性以及控制流（尽管控制流在正式模型中应尽量避免）。

       场景五和后续：涉及for循环和自定义算子的添加，如Cos算子，涉及算子定义、添加到算子集、Python实现等步骤。

       源码分析

       onnx.checker：负责模型和元素的检查，cpp代码中实现具体检查逻辑。

       onnx.compose、onnx.defs、onnx.helper等：提供模型构建、算子定义和辅助函数。

       onnx.numpy_helper：处理numpy数组与onnx tensor的转换。

       onnx.reference：提供Python实现的op推理功能。

       onnx.shape_inference：进行模型的形状推断。

       onnx.version_converter：处理不同op_set_version的转换。

       转换实践

       ONNX支持将tf、pytorch和mindspore的模型转换为ONNX格式，同时也有ONNX到TensorRT、MNN和MS-Lite等其他格式的转换选项。

       总结

       ONNX提供了一个统一的IR（中间表示）框架，通过Python API构建模型，支持算子定义的检查和模型的序列化。同时，它利用numpy实现基础算子，便于模型的正确性验证，并支持不同框架模型之间的转换。

PyTorch 源码分析(三）：torch.nn.Norm类算子

       PyTorch源码详解(三)：torch.nn.Norm类算子深入解析

       Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。

       1. BN/LayerNorm/InstanceNorm详解

       BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。

       gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。

       2. Norm算子源码分析

       继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。

       BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。

       计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。

       C++侧的源码洞察

       C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的数据视图和线程视图处理来提高性能。