皮皮网

1.Pytorch深入剖析 | 1-torch.nn.Module方法及源码
2.PyTorch 源码解读之 torch.optim：优化算法接口详解
3.PyTorch中torch.nn.Transformer的码解源码解读（自顶向下视角）
4.torchvision应用与源码分析
5.PyTorch - DataLoader 源码解析（一）
6.pytorch 源码解读进阶版 - 当你 import torch 的时候，你都干了些什么？（施工中）

Pytorch深入剖析 | 1-torch.nn.Module方法及源码

       torch.nn.Module是码解神经网络模型的基础类，大部分自定义子模型（如卷积、码解池化或整个网络）均是码解其子类。torch.nn.Parameter是码解继承自torch.tensor的子类，用以表示可训练参数。码解odoosaas源码定义Module时，码解可以使用个内置方法，码解例如add_module用于添加子模块，码解children和named_children用于获取子模块，码解modules和named_modules用于获取所有模块，码解register_parameter用于注册参数，码解parameters和named_parameters用于获取参数，码解get_parameter用于获取指定参数等。码解Module还支持数据格式转换，码解如float、double、half和bfloat，以及模型的设备移动，如cpu、cuda和xpu。训练模式调整可以通过train和eval方法实现。模型参数的梯度可以使用zero_grad方法清零。

       模型的前向传播由forward方法定义，而apply方法允许应用特定函数到模型的所有操作符上。模型状态可以通过state_dict和load_state_dict方法进行保存和加载，常用于保存模型参数。此外，模型可以设置为训练模式或评估模式，影响特定模块如Dropout和BatchNorm的行为。

       在PyTorch中，hook方法用于在前向和反向传播过程中捕获中间变量。注册hook时，可以使用torch.Tensor.register_hook针对张量注册后向传播函数，torch.nn.Module.register_forward_hook针对前向传播函数，torch.nn.Module.register_forward_pre_hook用于在前向传播之前修改输入张量，以及torch.nn.Module.register_backward_hook用于捕获中间层的梯度输入和输出。

       通过这些方法，开发者可以灵活地调整、监控和优化神经网络模型的行为，从而实现更高效、更精确的模型训练和应用。利用hook方法，用户可以访问中间变量、修改输入或输出，以及提取特征图的梯度，为模型的征途gm工具源码定制化和深入分析提供了强大的工具。

PyTorch 源码解读之 torch.optim：优化算法接口详解

       本文深入解读了 PyTorch 中的优化算法接口 torch.optim，主要包括优化器 Optimizer、学习率调整策略 LRScheduler 及 SWA 相关优化策略。以下为详细内容：

       Optimizer 是所有优化器的基类，提供了初始化、更新参数、设置初始学习率等基本方法。在初始化优化器时，需要传入模型的可学习参数和超参数。Optimizer 的核心方法包括：

       1. 初始化函数：创建优化器时，需指定模型的可学习参数和超参数，如学习率、动量等。

       2. add_param_group：允许为模型的不同可学习参数组设置不同的超参数，以适应不同的学习需求。

       3. step：执行一次模型参数更新，需要闭包提供损失函数的梯度信息。

       4. zero_grad：在更新参数前，清空参数的梯度信息。

       5. state_dict 和 load_state_dict：用于序列化和反序列化优化器的状态，便于保存和加载模型的训练状态。

       Optimizer 包括常见的优化器如 SGD、Adagrad、RMSprop 和 Adam，各有特点，适用于不同的应用场景。例如，SGD 适用于简单场景，而 Adam 则在处理大数据集时表现更优。

       学习率调节器 lr_scheduler 则负责在训练过程中调整学习率，以适应模型的收敛过程。PyTorch 提供了多种学习率调整策略，如 StepLR、MultiStepLR、ExponentialLR 等，每种策略都有其特点和应用场景，如 StepLR 用于周期性调整学习率，以加速收敛。

       SWA（随机权重平均）是一种优化算法，通过在训练过程中计算模型参数的平均值，可以得到更稳定的模型，提高泛化性能。SWA 涉及 AveragedModel 类，用于更新模型的平均参数，以及 update_bn 函数，用于在训练过程中更新批量归一化参数。redis源码分析课程

       总结，torch.optim 提供了丰富的优化算法接口，可以根据模型训练的需求灵活选择和配置，以达到最佳的训练效果和泛化性能。通过深入理解这些优化器和学习率调整策略，开发者可以更有效地训练深度学习模型。

PyTorch中torch.nn.Transformer的源码解读（自顶向下视角）

       torch.nn.Transformer是PyTorch中实现Transformer模型的类，其设计基于论文"Attention is All You Need"。本文尝试从官方文档和代码示例入手，解析torch.nn.Transformer源码。

       在官方文档中，对于torch.nn.Transformer的介绍相对简略，欲深入了解每个参数（特别是各种mask参数）的用法，建议参考基于torch.nn.Transformer实现的seq2seq任务的vanilla-transformer项目。

       Transformer类实现了模型架构的核心部分，包括初始化和forward函数。初始化时，主要初始化encoder和decoder，其中encoder通过重复堆叠TransformerEncoderLayer实现，decoder初始化类似。forward函数依次调用encoder和decoder，encoder的输出作为decoder的输入。

       TransformerEncoder初始化包括设置encoder_layer和num_layers，用于创建重复的encoder层。forward函数则调用这些层进行数据处理，输出编码后的结果。

       TransformerEncoderLayer实现了论文中红框部分的结构，包含SelfAttention和FeedForward层。初始化时，主要设置层的参数，forward函数调用这些层进行数据处理。

       在实现细节中，可以进一步探索MultiheadAttention的实现，包括初始化和forward函数。初始化涉及QKV的投影矩阵，forward函数调用F.multi_head_attention_forward进行数据处理。

       F.multi_head_attention_forward分为三部分：in-projection、scaled_dot_product_attention和拼接变换。in-projection进行线性变换，scaled_dot_product_attention计算注意力权重，拼接变换则将处理后的结果整合。

       TransformerDecoder和TransformerDecoderLayer的实现与TransformerEncoder相似，但多了一个mha_block，用于处理多头注意力。

       总结，torch.nn.Transformer遵循论文设计，影院网页html源码代码量适中，结构清晰，便于快速理解Transformer模型架构。通过自顶向下的解析，可以深入理解其内部实现。

torchvision应用与源码分析

       torchvision是PyTorch库中的一部分，用于计算机视觉任务，它包含了一系列的预训练模型和数据集。

       一：torchvision应用

       在计算机视觉领域，torchvision提供了方便的API，用于加载和处理图像数据，训练模型和进行预测。它通常与PyTorch深度学习框架结合使用，为用户提供了一个完整的框架来开发和部署计算机视觉应用。

       二：torchvision源码分析

       1. setup.py分析

       setup.py是Python包的配置文件，用于描述包的元数据和安装步骤。在torchvision中，setup.py文件被用来编译和安装包的依赖库。

       1.1 导入依赖的模块

       1.2 从配置文件中获取当前torchvision的版本信息

       1.3 获取依赖的torch版本信息

       1.4 获取编译扩展信息，然后传递给setup函数，启动编译

       1.5 重点：get_extensions分析

       在torchvision的setup.py文件中，get_extensions函数是核心部分，它负责编译torchvision自身的源码以及一些第三方库，如jpeg和codec等。

       1.5.1 获取ccsrc下面的cpp源码

       1.5.2 获取环境变量中配置的编译选项

       1.5.3 判断是AMD的HIP还是nVidia的CUDA，来获取到最终的cuda文件

       1.5.4：依据环境上是否支持cuda来确定编译扩展

       1.5.5 添加扩展

       至此，torchvision就将整个版本包编译出来了，会调用torch的cpp和cuda编译扩展（即：通过gcc+nvcc来编译ccsrc下面的源码，而不用torchvision自行再来设置各种编译环境信息了）。

       整个编译核心流程总结如下：

       2. torchvision新增算子流程

       以torchvision.ops.DeformConv2d为例

       2.1 基础用法与模型结构

       通过Netron工具打开模型结构，可以看到torchvision的deform_conv2d是单独的IR定义的算子

       2.2 python侧实现分析

       deform_conv2d定义在Python侧，实际上做了参数初始化后，将转交给了C++侧对应的接口

       2.3 C++侧分析：torch.ops.torchvision.deform_conv2d

       2.3.1 接口定义

       2.3.2 接口实现

       关键在于这两个接口的注册

       算子的具体实现和如何向pytorch完成注册呢？

       该算子有C++和CUDA实现方式，C++方式可以在纯CPU版本中运行，cuda实现则依赖于GPU和CUDA

       2.3.2.1 C++实现

       2.3.2.2 CUDA实现

       这种方式实现的算子，trace出来的模型中，为单个算子

       总结：自定义算子向torch集成分为两步

       三：基于torchvision新增一个算子

       实现一个算子：my_add = 2*x + y

       3.1 环境准备

PyTorch - DataLoader 源码解析（一）

       本文为作者基于个人经验进行的初步解析，由于能力有限，可能存在遗漏或错误，敬请各位批评指正。

       本文并未全面解析 DataLoader 的全部源码，仅对 DataLoader 与 Sampler 之间的联系进行了分析。以下内容均基于单线程迭代器代码展开，多线程情况将在后续文章中阐述。

       以一个简单的数据集遍历代码为例，在循环中，linux源码编译打包数据是如何从 loader 中被取出的？通过断点调试，我们发现循环时，代码进入了 torch.utils.data.DataLoader 类的 __iter__() 方法，具体内容如下：

       可以看到，该函数返回了一个迭代器，主要由 self._get_iterator() 和 self._iterator._reset(self) 提供。接下来，我们进入 self._get_iterator() 方法查看迭代器的产生过程。

       在此方法中，根据 self.num_workers 的数量返回了不同的迭代器，主要区别在于多线程处理方式不同，但这两种迭代器都是继承自 _BaseDataLoaderIter 类。这里我们先看单线程下的例子，进入 _SingleProcessDataLoaderIter(self)。

       构造函数并不复杂，在父类的构造器中执行了大量初始化属性，然后在自己的构造器中获得了一个 self._dataset_fetcher。此时继续单步前进断点，发现程序进入到了父类的 __next__() 方法中。

       在分析代码之前，我们先整理一下目前得到的信息：

       下面是 __next__() 方法的内容：

       可以看到最后返回的是变量 data，而 data 是由 self._next_data() 生成的，进入这个方法，我们发现这个方法由子类负责实现。

       在这个方法中，我们可以看到数据从 self._dataset_fecther.fetch() 中得到，需要依赖参数 index，而这个 index 由 self._next_index() 提供。进入这个方法可以发现它是由父类实现的。

       而前面的 index 实际上是由这个 self._sampler_iter 迭代器提供的。查找 self._sampler_iter 的定义，我们发现其在构造函数中。

       仔细观察，我们可以在倒数第 4 行发现 self._sampler_iter = iter(self._index_sampler)，这个迭代器就是这里的 self._index_sampler 提供的，而 self._index_sampler 来自 loader._index_sampler。这个 loader 就是最外层的 DataLoader。因此我们回到 DataLoader 类中查看这个 _index_sampler 是如何得到的。

       我们可以发现 _index_sampler 是一个由 @property 装饰得到的属性，会根据 self._auto_collation 来返回 self.batch_sampler 或者 self.sampler。再次整理已知信息，我们可以得到：

       因此，只要知道 batch_sampler 和 sampler 如何返回 index，就能了解整个流程。

       首先发现这两个属性来自 DataLoader 的构造函数，因此下面先分析构造函数。

       由于构造函数代码量较大，因此这里只关注与 Sampler 相关的部分，代码如下：

       在这里我们只关注以下部分：

       代码首先检查了参数的合法性，然后进行了一轮初始化属性，接着判断了 dataset 的类型，处理完特殊情况。接下来，函数对参数冲突进行了判断，共判断了 3 种参数冲突：

       检查完参数冲突后，函数开始创建 sampler 和 batch_sampler，如下图所示：

       注意，仅当未指定 sampler 时才会创建 sampler；同理，仅在未指定 batch_sampler 且存在 batch_size 时才会创建 batch_sampler。

       在 DataLoader 的构造函数中，如果不指定参数 batch_sampler，则默认创建 BatchSampler 对象。该对象需要一个 Sampler 对象作为参数参与构造。这也是在构造函数中，batch_sampler 与 sampler 冲突的原因之一。因为传入一个 batch_sampler 时，说明 sampler 已经作为参数完成了 batch_sampler 的构造，若再将 sampler 传入 DataLoader 是多余的。

       以第一节中的简单代码为例，此时并未指定 Sampler 和 batch_sampler，也未指定 batch_size，默认为 1，因此在 DataLoader 构造时，创建了一个 SequencialSampler，并传入了 BatchSampler 进行构建。继续第一节中的断点，可以发现：

       具体使用 sampler 还是 batch_sampler 来生成 index，取决于 _auto_collation，而从上面的代码发现，只要存在 self.batch_sampler 就永远使用 batch_sampler 来生成。batch_sampler 与 sampler 冲突的原因之二：若不设置冲突，那么使用者试图同时指定 batch_sampler 与 sampler 后，尤其是在使用者继承了新的 Sampler 子类后， sampler 在获取数据的时候完全没有被使用，这对开发者来说是一个困惑的现象，容易引起不易察觉的 BUG。

       继续断点发现程序进入了 BatchSampler 的 __iter__() 方法，代码如下：

       从代码中可以发现，程序不停地从 self.sampler 中获取 idx 加入列表，直到填满一个 batch 的量，并将这一整个 batch 的 index 返回到迭代器的 _next_data()。

       此处由 self._dataset_fetcher.fetch(index) 来获取真正的数据，进入函数后看到：

       这里依然根据 self.auto_collation（来自 DataLoader._auto_collation）进行分别处理，但是总体逻辑都是通过 self.dataset[] 来调用 Dataset 对象的 __getitem__() 方法。

       此处的 Dataset 是来自 torchvision 的 DatasetFolder 对象，这里读取文件路径中的后，经过转换变为 Tensor 对象，与标签 target 一起返回。参数中的 index 是由迭代器的 self._dataset_fetcher.fetch() 传入。

       整个获取数据的流程可以用以下流程图简略表示：

       注意：

       另附：

       对于一条循环语句，在执行过程中发生了以下事件：

pytorch 源码解读进阶版 - 当你 import torch 的时候，你都干了些什么？（施工中）

       使用PyTorch，无论是训练还是预测，你首先编写的代码通常如下所示：

       依据Python代码的编写规则，导入逻辑将去相应的PyTorch site-package目录寻找__init__.py文件，具体路径为：${ python_path}/lib/python3.8/site-packages/torch/__init__.py

       本章节聚焦于__init__.py 这个Python文件，从这里开始深入剖析，探究在一行简单的`import torch`命令背后，PyTorch是如何完成关键基础设置的初始化。

       重点一：从`from torch._C import *`开始

       在__init__.py 中，首先跳过一些系统环境的检查和判断逻辑，核心代码段为`from torch._C import *`，具体位置如下（github.com/pytorch/pytorch...）：

       这代表了典型的C++共享库初始化过程，遵循CPython代码组织规则，`torch._C`模块对应一个名为PyInit__C的函数。在文件torch/csrc/stub.c中，找到了此函数的相关定义（github.com/pytorch/pytorch...）。

       initModule被视为PyTorch初始化过程中的第一层调用栈，深入探讨此函数中的关键内容。

PyTorch 源码分析(一）：torch.nn.Module

       nn.Module是PyTorch中最核心和基础的结构，它是操作符/损失函数的基类，同时也是组成各种网络结构的基类（实际上是由多个module组合而成的一个module）。

       在Python侧，2.1回调函数注册，2.2 module类定义中，有以下几个重点函数：

       重点函数一：将模型的参数移动到CUDA上，内部会遍历其子module。

       重点函数二：将模型的参数移动到CPU上，内部会遍历其子module。

       重点函数三：将模型的参数转化为fp或者fp等，内部会遍历其子module。

       重点函数四：forward函数调用。

       重点函数五：返回该net的所有layer。

       在类图中，PyTorch的算子都是module的子类，包括自定义算子和整网定义。

       在C++侧，3.1 module.to("cuda")详细分析中，本质是将module的parameter&buffer等tensor移动到CUDA上，最终调用的是tensor.to(cuda)。

       3.2 module.load/save逻辑中，PyTorch模型保存分为两种，一种是纯参数，一种是带模型结构（PyTorch中的模型结构，本质上是由module、sub-module构造的一个计算图）。

       parameter、buffer是通过key-value的形式来存储和检索的，key为module的.name，value为存储具体数据的tensor。

       InputArchive/OutputArchive的write和read逻辑。

       通过Module，PyTorch将op/loss/opt等串联起来，类似于一个计算图。基于PyTorch构建的ResNet等模型，是逐个算子进行计算的，tensor在CPU和GPU之间来回流动，而不是整个计算都在GPU上完成（即中间计算结果不出GPU）。实际上，在进行推理时，可以构建一个计算图，让整个计算图的计算都在GPU上完成，不知道是否可行（如果GPU上有一个CPU就可以完成这个操作，不知道tensorrt是否是这样的操作）。

PyTorch 源码解读之 torch.utils.data：解析数据处理全流程

       文@

       目录

       0 前言

       1 Dataset

       1.1 Map-style dataset

       1.2 Iterable-style dataset

       1.3 其他 dataset

       2 Sampler

       3 DataLoader

       3.1 三者关系 (Dataset, Sampler, Dataloader)

       3.2 批处理

       3.2.1 自动批处理（默认）

       3.2.2 关闭自动批处理

       3.2.3 collate_fn

       3.3 多进程处理 (multi-process)

       4 单进程

       5 多进程

       6 锁页内存 (Memory Pinning)

       7 预取 (prefetch)

       8 代码讲解

       0 前言

       本文以 PyTorch 1.7 版本为例，解析 torch.utils.data 模块在数据处理流程中的应用。

       理解 Python 中的迭代器是解读 PyTorch 数据处理逻辑的关键。Dataset、Sampler 和 DataLoader 三者共同构建数据处理流程。

       迭代器通过实现 __iter__() 和 __next__() 方法，支持数据的循环访问。Dataset 提供数据获取接口，Sampler 控制遍历顺序，DataLoader 负责加载和批处理数据。

       1 Dataset

       Dataset 包括 Map-style 和 Iterable-style 两种，分别用于索引访问和迭代访问数据。

       Map-style dataset 通过实现 __getitem__() 和 __len__() 方法，支持通过索引获取数据。

       Iterable-style dataset 实现 __iter__() 方法，适用于随机访问且批次大小依赖于获取数据的场景。

       2 Sampler

       Sampler 用于定义数据遍历的顺序，支持用户自定义和 PyTorch 提供的内置实现。

       3 DataLoader

       DataLoader 是数据加载的核心，支持 Map-style 和 Iterable-style Dataset，提供单多进程处理和批处理等功能。

       通过参数配置，如 batch_size、drop_last、collate_fn 等，DataLoader 实现了数据的自动和手动批处理。

       4 批处理

       3.2.1 自动批处理（默认）

       DataLoader 默认使用自动批处理，通过参数控制批次生成和样本整理。

       3.2.2 关闭自动批处理

       关闭自动批处理，允许用户自定义批处理逻辑或处理单个样本。

       3.2.3 collate_fn

       collate_fn 是手动批处理时的关键，用于整理单个样本为批次。

       5 多进程

       多进程处理通过 num_workers 参数启用，加速数据加载。

       6 单进程

       单进程模式下，数据加载可能影响计算流程，适用于数据量小且无需多进程的场景。

       7 锁页内存 (Memory Pinning)

       Memory Pinning 技术确保数据在 GPU 加速过程中快速传输，提高性能。

       8 代码讲解

       通过具体代码分析，展示了 DataLoader 的初始化、迭代和数据获取过程，涉及迭代器、Sampler 和 Dataset 的交互。

PyTorch 源码分析(三）：torch.nn.Norm类算子

       PyTorch源码详解(三)：torch.nn.Norm类算子深入解析

       Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。

       1. BN/LayerNorm/InstanceNorm详解

       BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。

       gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。

       2. Norm算子源码分析

       继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。

       BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。

       计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。

       C++侧的源码洞察

       C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的数据视图和线程视图处理来提高性能。

Pytorch nn.Module接口及源码分析

       本文旨在介绍并解析Pytorch中的torch.nn.Module模块，它是构建和记录神经网络模型的基础。通过理解和掌握torch.nn.Module的作用、常用API及其使用方法，开发者能够构建更高效、灵活的神经网络架构。

       torch.nn.Module主要作用在于提供一个基类，用于创建神经网络中的所有模块。它支持模块的树状结构构建，允许开发者在其中嵌套其他模块。通过继承torch.nn.Module，开发者可以自定义功能模块，如卷积层、池化层等，这些模块的前向行为在`forward()`方法中定义。例如：

       python

       import torch.nn as nn

       class SimpleModel(nn.Module):

        def __init__(self):

        super(SimpleModel, self).__init__()

        self.conv1 = nn.Conv2d(in_channels=3, out_channels=6, kernel_size=3)

        self.conv2 = nn.Conv2d(in_channels=6, out_channels=, kernel_size=3)

        def forward(self, x):

        x = self.conv1(x)

        x = self.conv2(x)

        return x

       torch.nn.Module还提供了多种API，包括类变量、重要概念（如parameters和buffer）、数据类型和设备类型转换、hooks等。这些API使开发者能够灵活地控制和操作模型的状态。

       例如，可以通过requires_grad_()方法设置模块参数的梯度追踪，这对于训练过程至关重要。使用zero_grad()方法清空梯度，有助于在反向传播后初始化梯度。`state_dict()`方法用于获取模型状态字典，常用于模型的保存和加载。

       此外，_apply()方法用于执行自定义操作，如类型转换或设备迁移。通过__setattr__()方法，开发者可以方便地修改模块的参数、缓存和其他属性。

       总结而言，torch.nn.Module是Pytorch中构建神经网络模型的核心组件，它提供了丰富的API和功能，支持开发者创建复杂、高效的神经网络架构。通过深入理解这些API和方法，开发者能够更高效地实现各种深度学习任务。